ocaml: Fix thread safety of strings in bindings (RHBZ#604691).
[libguestfs.git] / src / generator.ml
1 #!/usr/bin/env ocaml
2 (* libguestfs
3  * Copyright (C) 2009-2010 Red Hat Inc.
4  *
5  * This program is free software; you can redistribute it and/or modify
6  * it under the terms of the GNU General Public License as published by
7  * the Free Software Foundation; either version 2 of the License, or
8  * (at your option) any later version.
9  *
10  * This program is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13  * GNU General Public License for more details.
14  *
15  * You should have received a copy of the GNU General Public License
16  * along with this program; if not, write to the Free Software
17  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
18  *)
19
20 (* This script generates a large amount of code and documentation for
21  * all the daemon actions.
22  *
23  * To add a new action there are only two files you need to change,
24  * this one to describe the interface (see the big table of
25  * 'daemon_functions' below), and daemon/<somefile>.c to write the
26  * implementation.
27  *
28  * After editing this file, run it (./src/generator.ml) to regenerate
29  * all the output files.  'make' will rerun this automatically when
30  * necessary.  Note that if you are using a separate build directory
31  * you must run generator.ml from the _source_ directory.
32  *
33  * IMPORTANT: This script should NOT print any warnings.  If it prints
34  * warnings, you should treat them as errors.
35  *
36  * OCaml tips:
37  * (1) In emacs, install tuareg-mode to display and format OCaml code
38  * correctly.  'vim' comes with a good OCaml editing mode by default.
39  * (2) Read the resources at http://ocaml-tutorial.org/
40  *)
41
42 #load "unix.cma";;
43 #load "str.cma";;
44 #directory "+xml-light";;
45 #directory "+../pkg-lib/xml-light";; (* for GODI users *)
46 #load "xml-light.cma";;
47
48 open Unix
49 open Printf
50
51 type style = ret * args
52 and ret =
53     (* "RErr" as a return value means an int used as a simple error
54      * indication, ie. 0 or -1.
55      *)
56   | RErr
57
58     (* "RInt" as a return value means an int which is -1 for error
59      * or any value >= 0 on success.  Only use this for smallish
60      * positive ints (0 <= i < 2^30).
61      *)
62   | RInt of string
63
64     (* "RInt64" is the same as RInt, but is guaranteed to be able
65      * to return a full 64 bit value, _except_ that -1 means error
66      * (so -1 cannot be a valid, non-error return value).
67      *)
68   | RInt64 of string
69
70     (* "RBool" is a bool return value which can be true/false or
71      * -1 for error.
72      *)
73   | RBool of string
74
75     (* "RConstString" is a string that refers to a constant value.
76      * The return value must NOT be NULL (since NULL indicates
77      * an error).
78      *
79      * Try to avoid using this.  In particular you cannot use this
80      * for values returned from the daemon, because there is no
81      * thread-safe way to return them in the C API.
82      *)
83   | RConstString of string
84
85     (* "RConstOptString" is an even more broken version of
86      * "RConstString".  The returned string may be NULL and there
87      * is no way to return an error indication.  Avoid using this!
88      *)
89   | RConstOptString of string
90
91     (* "RString" is a returned string.  It must NOT be NULL, since
92      * a NULL return indicates an error.  The caller frees this.
93      *)
94   | RString of string
95
96     (* "RStringList" is a list of strings.  No string in the list
97      * can be NULL.  The caller frees the strings and the array.
98      *)
99   | RStringList of string
100
101     (* "RStruct" is a function which returns a single named structure
102      * or an error indication (in C, a struct, and in other languages
103      * with varying representations, but usually very efficient).  See
104      * after the function list below for the structures.
105      *)
106   | RStruct of string * string          (* name of retval, name of struct *)
107
108     (* "RStructList" is a function which returns either a list/array
109      * of structures (could be zero-length), or an error indication.
110      *)
111   | RStructList of string * string      (* name of retval, name of struct *)
112
113     (* Key-value pairs of untyped strings.  Turns into a hashtable or
114      * dictionary in languages which support it.  DON'T use this as a
115      * general "bucket" for results.  Prefer a stronger typed return
116      * value if one is available, or write a custom struct.  Don't use
117      * this if the list could potentially be very long, since it is
118      * inefficient.  Keys should be unique.  NULLs are not permitted.
119      *)
120   | RHashtable of string
121
122     (* "RBufferOut" is handled almost exactly like RString, but
123      * it allows the string to contain arbitrary 8 bit data including
124      * ASCII NUL.  In the C API this causes an implicit extra parameter
125      * to be added of type <size_t *size_r>.  The extra parameter
126      * returns the actual size of the return buffer in bytes.
127      *
128      * Other programming languages support strings with arbitrary 8 bit
129      * data.
130      *
131      * At the RPC layer we have to use the opaque<> type instead of
132      * string<>.  Returned data is still limited to the max message
133      * size (ie. ~ 2 MB).
134      *)
135   | RBufferOut of string
136
137 and args = argt list    (* Function parameters, guestfs handle is implicit. *)
138
139     (* Note in future we should allow a "variable args" parameter as
140      * the final parameter, to allow commands like
141      *   chmod mode file [file(s)...]
142      * This is not implemented yet, but many commands (such as chmod)
143      * are currently defined with the argument order keeping this future
144      * possibility in mind.
145      *)
146 and argt =
147   | String of string    (* const char *name, cannot be NULL *)
148   | Device of string    (* /dev device name, cannot be NULL *)
149   | Pathname of string  (* file name, cannot be NULL *)
150   | Dev_or_Path of string (* /dev device name or Pathname, cannot be NULL *)
151   | OptString of string (* const char *name, may be NULL *)
152   | StringList of string(* list of strings (each string cannot be NULL) *)
153   | DeviceList of string(* list of Device names (each cannot be NULL) *)
154   | Bool of string      (* boolean *)
155   | Int of string       (* int (smallish ints, signed, <= 31 bits) *)
156   | Int64 of string     (* any 64 bit int *)
157     (* These are treated as filenames (simple string parameters) in
158      * the C API and bindings.  But in the RPC protocol, we transfer
159      * the actual file content up to or down from the daemon.
160      * FileIn: local machine -> daemon (in request)
161      * FileOut: daemon -> local machine (in reply)
162      * In guestfish (only), the special name "-" means read from
163      * stdin or write to stdout.
164      *)
165   | FileIn of string
166   | FileOut of string
167     (* Opaque buffer which can contain arbitrary 8 bit data.
168      * In the C API, this is expressed as <const char *, size_t> pair.
169      * Most other languages have a string type which can contain
170      * ASCII NUL.  We use whatever type is appropriate for each
171      * language.
172      * Buffers are limited by the total message size.  To transfer
173      * large blocks of data, use FileIn/FileOut parameters instead.
174      * To return an arbitrary buffer, use RBufferOut.
175      *)
176   | BufferIn of string
177
178 type flags =
179   | ProtocolLimitWarning  (* display warning about protocol size limits *)
180   | DangerWillRobinson    (* flags particularly dangerous commands *)
181   | FishAlias of string   (* provide an alias for this cmd in guestfish *)
182   | FishOutput of fish_output_t (* how to display output in guestfish *)
183   | NotInFish             (* do not export via guestfish *)
184   | NotInDocs             (* do not add this function to documentation *)
185   | DeprecatedBy of string (* function is deprecated, use .. instead *)
186   | Optional of string    (* function is part of an optional group *)
187
188 and fish_output_t =
189   | FishOutputOctal       (* for int return, print in octal *)
190   | FishOutputHexadecimal (* for int return, print in hex *)
191
192 (* You can supply zero or as many tests as you want per API call.
193  *
194  * Note that the test environment has 3 block devices, of size 500MB,
195  * 50MB and 10MB (respectively /dev/sda, /dev/sdb, /dev/sdc), and
196  * a fourth ISO block device with some known files on it (/dev/sdd).
197  *
198  * Note for partitioning purposes, the 500MB device has 1015 cylinders.
199  * Number of cylinders was 63 for IDE emulated disks with precisely
200  * the same size.  How exactly this is calculated is a mystery.
201  *
202  * The ISO block device (/dev/sdd) comes from images/test.iso.
203  *
204  * To be able to run the tests in a reasonable amount of time,
205  * the virtual machine and block devices are reused between tests.
206  * So don't try testing kill_subprocess :-x
207  *
208  * Between each test we blockdev-setrw, umount-all, lvm-remove-all.
209  *
210  * Don't assume anything about the previous contents of the block
211  * devices.  Use 'Init*' to create some initial scenarios.
212  *
213  * You can add a prerequisite clause to any individual test.  This
214  * is a run-time check, which, if it fails, causes the test to be
215  * skipped.  Useful if testing a command which might not work on
216  * all variations of libguestfs builds.  A test that has prerequisite
217  * of 'Always' is run unconditionally.
218  *
219  * In addition, packagers can skip individual tests by setting the
220  * environment variables:     eg:
221  *   SKIP_TEST_<CMD>_<NUM>=1  SKIP_TEST_COMMAND_3=1  (skips test #3 of command)
222  *   SKIP_TEST_<CMD>=1        SKIP_TEST_ZEROFREE=1   (skips all zerofree tests)
223  *)
224 type tests = (test_init * test_prereq * test) list
225 and test =
226     (* Run the command sequence and just expect nothing to fail. *)
227   | TestRun of seq
228
229     (* Run the command sequence and expect the output of the final
230      * command to be the string.
231      *)
232   | TestOutput of seq * string
233
234     (* Run the command sequence and expect the output of the final
235      * command to be the list of strings.
236      *)
237   | TestOutputList of seq * string list
238
239     (* Run the command sequence and expect the output of the final
240      * command to be the list of block devices (could be either
241      * "/dev/sd.." or "/dev/hd.." form - we don't check the 5th
242      * character of each string).
243      *)
244   | TestOutputListOfDevices of seq * string list
245
246     (* Run the command sequence and expect the output of the final
247      * command to be the integer.
248      *)
249   | TestOutputInt of seq * int
250
251     (* Run the command sequence and expect the output of the final
252      * command to be <op> <int>, eg. ">=", "1".
253      *)
254   | TestOutputIntOp of seq * string * int
255
256     (* Run the command sequence and expect the output of the final
257      * command to be a true value (!= 0 or != NULL).
258      *)
259   | TestOutputTrue of seq
260
261     (* Run the command sequence and expect the output of the final
262      * command to be a false value (== 0 or == NULL, but not an error).
263      *)
264   | TestOutputFalse of seq
265
266     (* Run the command sequence and expect the output of the final
267      * command to be a list of the given length (but don't care about
268      * content).
269      *)
270   | TestOutputLength of seq * int
271
272     (* Run the command sequence and expect the output of the final
273      * command to be a buffer (RBufferOut), ie. string + size.
274      *)
275   | TestOutputBuffer of seq * string
276
277     (* Run the command sequence and expect the output of the final
278      * command to be a structure.
279      *)
280   | TestOutputStruct of seq * test_field_compare list
281
282     (* Run the command sequence and expect the final command (only)
283      * to fail.
284      *)
285   | TestLastFail of seq
286
287 and test_field_compare =
288   | CompareWithInt of string * int
289   | CompareWithIntOp of string * string * int
290   | CompareWithString of string * string
291   | CompareFieldsIntEq of string * string
292   | CompareFieldsStrEq of string * string
293
294 (* Test prerequisites. *)
295 and test_prereq =
296     (* Test always runs. *)
297   | Always
298
299     (* Test is currently disabled - eg. it fails, or it tests some
300      * unimplemented feature.
301      *)
302   | Disabled
303
304     (* 'string' is some C code (a function body) that should return
305      * true or false.  The test will run if the code returns true.
306      *)
307   | If of string
308
309     (* As for 'If' but the test runs _unless_ the code returns true. *)
310   | Unless of string
311
312     (* Run the test only if 'string' is available in the daemon. *)
313   | IfAvailable of string
314
315 (* Some initial scenarios for testing. *)
316 and test_init =
317     (* Do nothing, block devices could contain random stuff including
318      * LVM PVs, and some filesystems might be mounted.  This is usually
319      * a bad idea.
320      *)
321   | InitNone
322
323     (* Block devices are empty and no filesystems are mounted. *)
324   | InitEmpty
325
326     (* /dev/sda contains a single partition /dev/sda1, with random
327      * content.  /dev/sdb and /dev/sdc may have random content.
328      * No LVM.
329      *)
330   | InitPartition
331
332     (* /dev/sda contains a single partition /dev/sda1, which is formatted
333      * as ext2, empty [except for lost+found] and mounted on /.
334      * /dev/sdb and /dev/sdc may have random content.
335      * No LVM.
336      *)
337   | InitBasicFS
338
339     (* /dev/sda:
340      *   /dev/sda1 (is a PV):
341      *     /dev/VG/LV (size 8MB):
342      *       formatted as ext2, empty [except for lost+found], mounted on /
343      * /dev/sdb and /dev/sdc may have random content.
344      *)
345   | InitBasicFSonLVM
346
347     (* /dev/sdd (the ISO, see images/ directory in source)
348      * is mounted on /
349      *)
350   | InitISOFS
351
352 (* Sequence of commands for testing. *)
353 and seq = cmd list
354 and cmd = string list
355
356 (* Note about long descriptions: When referring to another
357  * action, use the format C<guestfs_other> (ie. the full name of
358  * the C function).  This will be replaced as appropriate in other
359  * language bindings.
360  *
361  * Apart from that, long descriptions are just perldoc paragraphs.
362  *)
363
364 (* Generate a random UUID (used in tests). *)
365 let uuidgen () =
366   let chan = open_process_in "uuidgen" in
367   let uuid = input_line chan in
368   (match close_process_in chan with
369    | WEXITED 0 -> ()
370    | WEXITED _ ->
371        failwith "uuidgen: process exited with non-zero status"
372    | WSIGNALED _ | WSTOPPED _ ->
373        failwith "uuidgen: process signalled or stopped by signal"
374   );
375   uuid
376
377 (* These test functions are used in the language binding tests. *)
378
379 let test_all_args = [
380   String "str";
381   OptString "optstr";
382   StringList "strlist";
383   Bool "b";
384   Int "integer";
385   Int64 "integer64";
386   FileIn "filein";
387   FileOut "fileout";
388   BufferIn "bufferin";
389 ]
390
391 let test_all_rets = [
392   (* except for RErr, which is tested thoroughly elsewhere *)
393   "test0rint",         RInt "valout";
394   "test0rint64",       RInt64 "valout";
395   "test0rbool",        RBool "valout";
396   "test0rconststring", RConstString "valout";
397   "test0rconstoptstring", RConstOptString "valout";
398   "test0rstring",      RString "valout";
399   "test0rstringlist",  RStringList "valout";
400   "test0rstruct",      RStruct ("valout", "lvm_pv");
401   "test0rstructlist",  RStructList ("valout", "lvm_pv");
402   "test0rhashtable",   RHashtable "valout";
403 ]
404
405 let test_functions = [
406   ("test0", (RErr, test_all_args), -1, [NotInFish; NotInDocs],
407    [],
408    "internal test function - do not use",
409    "\
410 This is an internal test function which is used to test whether
411 the automatically generated bindings can handle every possible
412 parameter type correctly.
413
414 It echos the contents of each parameter to stdout.
415
416 You probably don't want to call this function.");
417 ] @ List.flatten (
418   List.map (
419     fun (name, ret) ->
420       [(name, (ret, [String "val"]), -1, [NotInFish; NotInDocs],
421         [],
422         "internal test function - do not use",
423         "\
424 This is an internal test function which is used to test whether
425 the automatically generated bindings can handle every possible
426 return type correctly.
427
428 It converts string C<val> to the return type.
429
430 You probably don't want to call this function.");
431        (name ^ "err", (ret, []), -1, [NotInFish; NotInDocs],
432         [],
433         "internal test function - do not use",
434         "\
435 This is an internal test function which is used to test whether
436 the automatically generated bindings can handle every possible
437 return type correctly.
438
439 This function always returns an error.
440
441 You probably don't want to call this function.")]
442   ) test_all_rets
443 )
444
445 (* non_daemon_functions are any functions which don't get processed
446  * in the daemon, eg. functions for setting and getting local
447  * configuration values.
448  *)
449
450 let non_daemon_functions = test_functions @ [
451   ("launch", (RErr, []), -1, [FishAlias "run"],
452    [],
453    "launch the qemu subprocess",
454    "\
455 Internally libguestfs is implemented by running a virtual machine
456 using L<qemu(1)>.
457
458 You should call this after configuring the handle
459 (eg. adding drives) but before performing any actions.");
460
461   ("wait_ready", (RErr, []), -1, [NotInFish],
462    [],
463    "wait until the qemu subprocess launches (no op)",
464    "\
465 This function is a no op.
466
467 In versions of the API E<lt> 1.0.71 you had to call this function
468 just after calling C<guestfs_launch> to wait for the launch
469 to complete.  However this is no longer necessary because
470 C<guestfs_launch> now does the waiting.
471
472 If you see any calls to this function in code then you can just
473 remove them, unless you want to retain compatibility with older
474 versions of the API.");
475
476   ("kill_subprocess", (RErr, []), -1, [],
477    [],
478    "kill the qemu subprocess",
479    "\
480 This kills the qemu subprocess.  You should never need to call this.");
481
482   ("add_drive", (RErr, [String "filename"]), -1, [FishAlias "add"],
483    [],
484    "add an image to examine or modify",
485    "\
486 This function adds a virtual machine disk image C<filename> to the
487 guest.  The first time you call this function, the disk appears as IDE
488 disk 0 (C</dev/sda>) in the guest, the second time as C</dev/sdb>, and
489 so on.
490
491 You don't necessarily need to be root when using libguestfs.  However
492 you obviously do need sufficient permissions to access the filename
493 for whatever operations you want to perform (ie. read access if you
494 just want to read the image or write access if you want to modify the
495 image).
496
497 This is equivalent to the qemu parameter
498 C<-drive file=filename,cache=off,if=...>.
499
500 C<cache=off> is omitted in cases where it is not supported by
501 the underlying filesystem.
502
503 C<if=...> is set at compile time by the configuration option
504 C<./configure --with-drive-if=...>.  In the rare case where you
505 might need to change this at run time, use C<guestfs_add_drive_with_if>
506 or C<guestfs_add_drive_ro_with_if>.
507
508 Note that this call checks for the existence of C<filename>.  This
509 stops you from specifying other types of drive which are supported
510 by qemu such as C<nbd:> and C<http:> URLs.  To specify those, use
511 the general C<guestfs_config> call instead.");
512
513   ("add_cdrom", (RErr, [String "filename"]), -1, [FishAlias "cdrom"],
514    [],
515    "add a CD-ROM disk image to examine",
516    "\
517 This function adds a virtual CD-ROM disk image to the guest.
518
519 This is equivalent to the qemu parameter C<-cdrom filename>.
520
521 Notes:
522
523 =over 4
524
525 =item *
526
527 This call checks for the existence of C<filename>.  This
528 stops you from specifying other types of drive which are supported
529 by qemu such as C<nbd:> and C<http:> URLs.  To specify those, use
530 the general C<guestfs_config> call instead.
531
532 =item *
533
534 If you just want to add an ISO file (often you use this as an
535 efficient way to transfer large files into the guest), then you
536 should probably use C<guestfs_add_drive_ro> instead.
537
538 =back");
539
540   ("add_drive_ro", (RErr, [String "filename"]), -1, [FishAlias "add-ro"],
541    [],
542    "add a drive in snapshot mode (read-only)",
543    "\
544 This adds a drive in snapshot mode, making it effectively
545 read-only.
546
547 Note that writes to the device are allowed, and will be seen for
548 the duration of the guestfs handle, but they are written
549 to a temporary file which is discarded as soon as the guestfs
550 handle is closed.  We don't currently have any method to enable
551 changes to be committed, although qemu can support this.
552
553 This is equivalent to the qemu parameter
554 C<-drive file=filename,snapshot=on,readonly=on,if=...>.
555
556 C<if=...> is set at compile time by the configuration option
557 C<./configure --with-drive-if=...>.  In the rare case where you
558 might need to change this at run time, use C<guestfs_add_drive_with_if>
559 or C<guestfs_add_drive_ro_with_if>.
560
561 C<readonly=on> is only added where qemu supports this option.
562
563 Note that this call checks for the existence of C<filename>.  This
564 stops you from specifying other types of drive which are supported
565 by qemu such as C<nbd:> and C<http:> URLs.  To specify those, use
566 the general C<guestfs_config> call instead.");
567
568   ("config", (RErr, [String "qemuparam"; OptString "qemuvalue"]), -1, [],
569    [],
570    "add qemu parameters",
571    "\
572 This can be used to add arbitrary qemu command line parameters
573 of the form C<-param value>.  Actually it's not quite arbitrary - we
574 prevent you from setting some parameters which would interfere with
575 parameters that we use.
576
577 The first character of C<param> string must be a C<-> (dash).
578
579 C<value> can be NULL.");
580
581   ("set_qemu", (RErr, [OptString "qemu"]), -1, [FishAlias "qemu"],
582    [],
583    "set the qemu binary",
584    "\
585 Set the qemu binary that we will use.
586
587 The default is chosen when the library was compiled by the
588 configure script.
589
590 You can also override this by setting the C<LIBGUESTFS_QEMU>
591 environment variable.
592
593 Setting C<qemu> to C<NULL> restores the default qemu binary.
594
595 Note that you should call this function as early as possible
596 after creating the handle.  This is because some pre-launch
597 operations depend on testing qemu features (by running C<qemu -help>).
598 If the qemu binary changes, we don't retest features, and
599 so you might see inconsistent results.  Using the environment
600 variable C<LIBGUESTFS_QEMU> is safest of all since that picks
601 the qemu binary at the same time as the handle is created.");
602
603   ("get_qemu", (RConstString "qemu", []), -1, [],
604    [InitNone, Always, TestRun (
605       [["get_qemu"]])],
606    "get the qemu binary",
607    "\
608 Return the current qemu binary.
609
610 This is always non-NULL.  If it wasn't set already, then this will
611 return the default qemu binary name.");
612
613   ("set_path", (RErr, [OptString "searchpath"]), -1, [FishAlias "path"],
614    [],
615    "set the search path",
616    "\
617 Set the path that libguestfs searches for kernel and initrd.img.
618
619 The default is C<$libdir/guestfs> unless overridden by setting
620 C<LIBGUESTFS_PATH> environment variable.
621
622 Setting C<path> to C<NULL> restores the default path.");
623
624   ("get_path", (RConstString "path", []), -1, [],
625    [InitNone, Always, TestRun (
626       [["get_path"]])],
627    "get the search path",
628    "\
629 Return the current search path.
630
631 This is always non-NULL.  If it wasn't set already, then this will
632 return the default path.");
633
634   ("set_append", (RErr, [OptString "append"]), -1, [FishAlias "append"],
635    [],
636    "add options to kernel command line",
637    "\
638 This function is used to add additional options to the
639 guest kernel command line.
640
641 The default is C<NULL> unless overridden by setting
642 C<LIBGUESTFS_APPEND> environment variable.
643
644 Setting C<append> to C<NULL> means I<no> additional options
645 are passed (libguestfs always adds a few of its own).");
646
647   ("get_append", (RConstOptString "append", []), -1, [],
648    (* This cannot be tested with the current framework.  The
649     * function can return NULL in normal operations, which the
650     * test framework interprets as an error.
651     *)
652    [],
653    "get the additional kernel options",
654    "\
655 Return the additional kernel options which are added to the
656 guest kernel command line.
657
658 If C<NULL> then no options are added.");
659
660   ("set_autosync", (RErr, [Bool "autosync"]), -1, [FishAlias "autosync"],
661    [],
662    "set autosync mode",
663    "\
664 If C<autosync> is true, this enables autosync.  Libguestfs will make a
665 best effort attempt to run C<guestfs_umount_all> followed by
666 C<guestfs_sync> when the handle is closed
667 (also if the program exits without closing handles).
668
669 This is disabled by default (except in guestfish where it is
670 enabled by default).");
671
672   ("get_autosync", (RBool "autosync", []), -1, [],
673    [InitNone, Always, TestRun (
674       [["get_autosync"]])],
675    "get autosync mode",
676    "\
677 Get the autosync flag.");
678
679   ("set_verbose", (RErr, [Bool "verbose"]), -1, [FishAlias "verbose"],
680    [],
681    "set verbose mode",
682    "\
683 If C<verbose> is true, this turns on verbose messages (to C<stderr>).
684
685 Verbose messages are disabled unless the environment variable
686 C<LIBGUESTFS_DEBUG> is defined and set to C<1>.");
687
688   ("get_verbose", (RBool "verbose", []), -1, [],
689    [],
690    "get verbose mode",
691    "\
692 This returns the verbose messages flag.");
693
694   ("is_ready", (RBool "ready", []), -1, [],
695    [InitNone, Always, TestOutputTrue (
696       [["is_ready"]])],
697    "is ready to accept commands",
698    "\
699 This returns true iff this handle is ready to accept commands
700 (in the C<READY> state).
701
702 For more information on states, see L<guestfs(3)>.");
703
704   ("is_config", (RBool "config", []), -1, [],
705    [InitNone, Always, TestOutputFalse (
706       [["is_config"]])],
707    "is in configuration state",
708    "\
709 This returns true iff this handle is being configured
710 (in the C<CONFIG> state).
711
712 For more information on states, see L<guestfs(3)>.");
713
714   ("is_launching", (RBool "launching", []), -1, [],
715    [InitNone, Always, TestOutputFalse (
716       [["is_launching"]])],
717    "is launching subprocess",
718    "\
719 This returns true iff this handle is launching the subprocess
720 (in the C<LAUNCHING> state).
721
722 For more information on states, see L<guestfs(3)>.");
723
724   ("is_busy", (RBool "busy", []), -1, [],
725    [InitNone, Always, TestOutputFalse (
726       [["is_busy"]])],
727    "is busy processing a command",
728    "\
729 This returns true iff this handle is busy processing a command
730 (in the C<BUSY> state).
731
732 For more information on states, see L<guestfs(3)>.");
733
734   ("get_state", (RInt "state", []), -1, [],
735    [],
736    "get the current state",
737    "\
738 This returns the current state as an opaque integer.  This is
739 only useful for printing debug and internal error messages.
740
741 For more information on states, see L<guestfs(3)>.");
742
743   ("set_memsize", (RErr, [Int "memsize"]), -1, [FishAlias "memsize"],
744    [InitNone, Always, TestOutputInt (
745       [["set_memsize"; "500"];
746        ["get_memsize"]], 500)],
747    "set memory allocated to the qemu subprocess",
748    "\
749 This sets the memory size in megabytes allocated to the
750 qemu subprocess.  This only has any effect if called before
751 C<guestfs_launch>.
752
753 You can also change this by setting the environment
754 variable C<LIBGUESTFS_MEMSIZE> before the handle is
755 created.
756
757 For more information on the architecture of libguestfs,
758 see L<guestfs(3)>.");
759
760   ("get_memsize", (RInt "memsize", []), -1, [],
761    [InitNone, Always, TestOutputIntOp (
762       [["get_memsize"]], ">=", 256)],
763    "get memory allocated to the qemu subprocess",
764    "\
765 This gets the memory size in megabytes allocated to the
766 qemu subprocess.
767
768 If C<guestfs_set_memsize> was not called
769 on this handle, and if C<LIBGUESTFS_MEMSIZE> was not set,
770 then this returns the compiled-in default value for memsize.
771
772 For more information on the architecture of libguestfs,
773 see L<guestfs(3)>.");
774
775   ("get_pid", (RInt "pid", []), -1, [FishAlias "pid"],
776    [InitNone, Always, TestOutputIntOp (
777       [["get_pid"]], ">=", 1)],
778    "get PID of qemu subprocess",
779    "\
780 Return the process ID of the qemu subprocess.  If there is no
781 qemu subprocess, then this will return an error.
782
783 This is an internal call used for debugging and testing.");
784
785   ("version", (RStruct ("version", "version"), []), -1, [],
786    [InitNone, Always, TestOutputStruct (
787       [["version"]], [CompareWithInt ("major", 1)])],
788    "get the library version number",
789    "\
790 Return the libguestfs version number that the program is linked
791 against.
792
793 Note that because of dynamic linking this is not necessarily
794 the version of libguestfs that you compiled against.  You can
795 compile the program, and then at runtime dynamically link
796 against a completely different C<libguestfs.so> library.
797
798 This call was added in version C<1.0.58>.  In previous
799 versions of libguestfs there was no way to get the version
800 number.  From C code you can use dynamic linker functions
801 to find out if this symbol exists (if it doesn't, then
802 it's an earlier version).
803
804 The call returns a structure with four elements.  The first
805 three (C<major>, C<minor> and C<release>) are numbers and
806 correspond to the usual version triplet.  The fourth element
807 (C<extra>) is a string and is normally empty, but may be
808 used for distro-specific information.
809
810 To construct the original version string:
811 C<$major.$minor.$release$extra>
812
813 See also: L<guestfs(3)/LIBGUESTFS VERSION NUMBERS>.
814
815 I<Note:> Don't use this call to test for availability
816 of features.  In enterprise distributions we backport
817 features from later versions into earlier versions,
818 making this an unreliable way to test for features.
819 Use C<guestfs_available> instead.");
820
821   ("set_selinux", (RErr, [Bool "selinux"]), -1, [FishAlias "selinux"],
822    [InitNone, Always, TestOutputTrue (
823       [["set_selinux"; "true"];
824        ["get_selinux"]])],
825    "set SELinux enabled or disabled at appliance boot",
826    "\
827 This sets the selinux flag that is passed to the appliance
828 at boot time.  The default is C<selinux=0> (disabled).
829
830 Note that if SELinux is enabled, it is always in
831 Permissive mode (C<enforcing=0>).
832
833 For more information on the architecture of libguestfs,
834 see L<guestfs(3)>.");
835
836   ("get_selinux", (RBool "selinux", []), -1, [],
837    [],
838    "get SELinux enabled flag",
839    "\
840 This returns the current setting of the selinux flag which
841 is passed to the appliance at boot time.  See C<guestfs_set_selinux>.
842
843 For more information on the architecture of libguestfs,
844 see L<guestfs(3)>.");
845
846   ("set_trace", (RErr, [Bool "trace"]), -1, [FishAlias "trace"],
847    [InitNone, Always, TestOutputFalse (
848       [["set_trace"; "false"];
849        ["get_trace"]])],
850    "enable or disable command traces",
851    "\
852 If the command trace flag is set to 1, then commands are
853 printed on stdout before they are executed in a format
854 which is very similar to the one used by guestfish.  In
855 other words, you can run a program with this enabled, and
856 you will get out a script which you can feed to guestfish
857 to perform the same set of actions.
858
859 If you want to trace C API calls into libguestfs (and
860 other libraries) then possibly a better way is to use
861 the external ltrace(1) command.
862
863 Command traces are disabled unless the environment variable
864 C<LIBGUESTFS_TRACE> is defined and set to C<1>.");
865
866   ("get_trace", (RBool "trace", []), -1, [],
867    [],
868    "get command trace enabled flag",
869    "\
870 Return the command trace flag.");
871
872   ("set_direct", (RErr, [Bool "direct"]), -1, [FishAlias "direct"],
873    [InitNone, Always, TestOutputFalse (
874       [["set_direct"; "false"];
875        ["get_direct"]])],
876    "enable or disable direct appliance mode",
877    "\
878 If the direct appliance mode flag is enabled, then stdin and
879 stdout are passed directly through to the appliance once it
880 is launched.
881
882 One consequence of this is that log messages aren't caught
883 by the library and handled by C<guestfs_set_log_message_callback>,
884 but go straight to stdout.
885
886 You probably don't want to use this unless you know what you
887 are doing.
888
889 The default is disabled.");
890
891   ("get_direct", (RBool "direct", []), -1, [],
892    [],
893    "get direct appliance mode flag",
894    "\
895 Return the direct appliance mode flag.");
896
897   ("set_recovery_proc", (RErr, [Bool "recoveryproc"]), -1, [FishAlias "recovery-proc"],
898    [InitNone, Always, TestOutputTrue (
899       [["set_recovery_proc"; "true"];
900        ["get_recovery_proc"]])],
901    "enable or disable the recovery process",
902    "\
903 If this is called with the parameter C<false> then
904 C<guestfs_launch> does not create a recovery process.  The
905 purpose of the recovery process is to stop runaway qemu
906 processes in the case where the main program aborts abruptly.
907
908 This only has any effect if called before C<guestfs_launch>,
909 and the default is true.
910
911 About the only time when you would want to disable this is
912 if the main process will fork itself into the background
913 (\"daemonize\" itself).  In this case the recovery process
914 thinks that the main program has disappeared and so kills
915 qemu, which is not very helpful.");
916
917   ("get_recovery_proc", (RBool "recoveryproc", []), -1, [],
918    [],
919    "get recovery process enabled flag",
920    "\
921 Return the recovery process enabled flag.");
922
923   ("add_drive_with_if", (RErr, [String "filename"; String "iface"]), -1, [],
924    [],
925    "add a drive specifying the QEMU block emulation to use",
926    "\
927 This is the same as C<guestfs_add_drive> but it allows you
928 to specify the QEMU interface emulation to use at run time.");
929
930   ("add_drive_ro_with_if", (RErr, [String "filename"; String "iface"]), -1, [],
931    [],
932    "add a drive read-only specifying the QEMU block emulation to use",
933    "\
934 This is the same as C<guestfs_add_drive_ro> but it allows you
935 to specify the QEMU interface emulation to use at run time.");
936
937 ]
938
939 (* daemon_functions are any functions which cause some action
940  * to take place in the daemon.
941  *)
942
943 let daemon_functions = [
944   ("mount", (RErr, [Device "device"; String "mountpoint"]), 1, [],
945    [InitEmpty, Always, TestOutput (
946       [["part_disk"; "/dev/sda"; "mbr"];
947        ["mkfs"; "ext2"; "/dev/sda1"];
948        ["mount"; "/dev/sda1"; "/"];
949        ["write"; "/new"; "new file contents"];
950        ["cat"; "/new"]], "new file contents")],
951    "mount a guest disk at a position in the filesystem",
952    "\
953 Mount a guest disk at a position in the filesystem.  Block devices
954 are named C</dev/sda>, C</dev/sdb> and so on, as they were added to
955 the guest.  If those block devices contain partitions, they will have
956 the usual names (eg. C</dev/sda1>).  Also LVM C</dev/VG/LV>-style
957 names can be used.
958
959 The rules are the same as for L<mount(2)>:  A filesystem must
960 first be mounted on C</> before others can be mounted.  Other
961 filesystems can only be mounted on directories which already
962 exist.
963
964 The mounted filesystem is writable, if we have sufficient permissions
965 on the underlying device.
966
967 B<Important note:>
968 When you use this call, the filesystem options C<sync> and C<noatime>
969 are set implicitly.  This was originally done because we thought it
970 would improve reliability, but it turns out that I<-o sync> has a
971 very large negative performance impact and negligible effect on
972 reliability.  Therefore we recommend that you avoid using
973 C<guestfs_mount> in any code that needs performance, and instead
974 use C<guestfs_mount_options> (use an empty string for the first
975 parameter if you don't want any options).");
976
977   ("sync", (RErr, []), 2, [],
978    [ InitEmpty, Always, TestRun [["sync"]]],
979    "sync disks, writes are flushed through to the disk image",
980    "\
981 This syncs the disk, so that any writes are flushed through to the
982 underlying disk image.
983
984 You should always call this if you have modified a disk image, before
985 closing the handle.");
986
987   ("touch", (RErr, [Pathname "path"]), 3, [],
988    [InitBasicFS, Always, TestOutputTrue (
989       [["touch"; "/new"];
990        ["exists"; "/new"]])],
991    "update file timestamps or create a new file",
992    "\
993 Touch acts like the L<touch(1)> command.  It can be used to
994 update the timestamps on a file, or, if the file does not exist,
995 to create a new zero-length file.
996
997 This command only works on regular files, and will fail on other
998 file types such as directories, symbolic links, block special etc.");
999
1000   ("cat", (RString "content", [Pathname "path"]), 4, [ProtocolLimitWarning],
1001    [InitISOFS, Always, TestOutput (
1002       [["cat"; "/known-2"]], "abcdef\n")],
1003    "list the contents of a file",
1004    "\
1005 Return the contents of the file named C<path>.
1006
1007 Note that this function cannot correctly handle binary files
1008 (specifically, files containing C<\\0> character which is treated
1009 as end of string).  For those you need to use the C<guestfs_read_file>
1010 or C<guestfs_download> functions which have a more complex interface.");
1011
1012   ("ll", (RString "listing", [Pathname "directory"]), 5, [],
1013    [], (* XXX Tricky to test because it depends on the exact format
1014         * of the 'ls -l' command, which changes between F10 and F11.
1015         *)
1016    "list the files in a directory (long format)",
1017    "\
1018 List the files in C<directory> (relative to the root directory,
1019 there is no cwd) in the format of 'ls -la'.
1020
1021 This command is mostly useful for interactive sessions.  It
1022 is I<not> intended that you try to parse the output string.");
1023
1024   ("ls", (RStringList "listing", [Pathname "directory"]), 6, [],
1025    [InitBasicFS, Always, TestOutputList (
1026       [["touch"; "/new"];
1027        ["touch"; "/newer"];
1028        ["touch"; "/newest"];
1029        ["ls"; "/"]], ["lost+found"; "new"; "newer"; "newest"])],
1030    "list the files in a directory",
1031    "\
1032 List the files in C<directory> (relative to the root directory,
1033 there is no cwd).  The '.' and '..' entries are not returned, but
1034 hidden files are shown.
1035
1036 This command is mostly useful for interactive sessions.  Programs
1037 should probably use C<guestfs_readdir> instead.");
1038
1039   ("list_devices", (RStringList "devices", []), 7, [],
1040    [InitEmpty, Always, TestOutputListOfDevices (
1041       [["list_devices"]], ["/dev/sda"; "/dev/sdb"; "/dev/sdc"; "/dev/sdd"])],
1042    "list the block devices",
1043    "\
1044 List all the block devices.
1045
1046 The full block device names are returned, eg. C</dev/sda>");
1047
1048   ("list_partitions", (RStringList "partitions", []), 8, [],
1049    [InitBasicFS, Always, TestOutputListOfDevices (
1050       [["list_partitions"]], ["/dev/sda1"]);
1051     InitEmpty, Always, TestOutputListOfDevices (
1052       [["sfdiskM"; "/dev/sda"; ",100 ,200 ,"];
1053        ["list_partitions"]], ["/dev/sda1"; "/dev/sda2"; "/dev/sda3"])],
1054    "list the partitions",
1055    "\
1056 List all the partitions detected on all block devices.
1057
1058 The full partition device names are returned, eg. C</dev/sda1>
1059
1060 This does not return logical volumes.  For that you will need to
1061 call C<guestfs_lvs>.");
1062
1063   ("pvs", (RStringList "physvols", []), 9, [Optional "lvm2"],
1064    [InitBasicFSonLVM, Always, TestOutputListOfDevices (
1065       [["pvs"]], ["/dev/sda1"]);
1066     InitEmpty, Always, TestOutputListOfDevices (
1067       [["sfdiskM"; "/dev/sda"; ",100 ,200 ,"];
1068        ["pvcreate"; "/dev/sda1"];
1069        ["pvcreate"; "/dev/sda2"];
1070        ["pvcreate"; "/dev/sda3"];
1071        ["pvs"]], ["/dev/sda1"; "/dev/sda2"; "/dev/sda3"])],
1072    "list the LVM physical volumes (PVs)",
1073    "\
1074 List all the physical volumes detected.  This is the equivalent
1075 of the L<pvs(8)> command.
1076
1077 This returns a list of just the device names that contain
1078 PVs (eg. C</dev/sda2>).
1079
1080 See also C<guestfs_pvs_full>.");
1081
1082   ("vgs", (RStringList "volgroups", []), 10, [Optional "lvm2"],
1083    [InitBasicFSonLVM, Always, TestOutputList (
1084       [["vgs"]], ["VG"]);
1085     InitEmpty, Always, TestOutputList (
1086       [["sfdiskM"; "/dev/sda"; ",100 ,200 ,"];
1087        ["pvcreate"; "/dev/sda1"];
1088        ["pvcreate"; "/dev/sda2"];
1089        ["pvcreate"; "/dev/sda3"];
1090        ["vgcreate"; "VG1"; "/dev/sda1 /dev/sda2"];
1091        ["vgcreate"; "VG2"; "/dev/sda3"];
1092        ["vgs"]], ["VG1"; "VG2"])],
1093    "list the LVM volume groups (VGs)",
1094    "\
1095 List all the volumes groups detected.  This is the equivalent
1096 of the L<vgs(8)> command.
1097
1098 This returns a list of just the volume group names that were
1099 detected (eg. C<VolGroup00>).
1100
1101 See also C<guestfs_vgs_full>.");
1102
1103   ("lvs", (RStringList "logvols", []), 11, [Optional "lvm2"],
1104    [InitBasicFSonLVM, Always, TestOutputList (
1105       [["lvs"]], ["/dev/VG/LV"]);
1106     InitEmpty, Always, TestOutputList (
1107       [["sfdiskM"; "/dev/sda"; ",100 ,200 ,"];
1108        ["pvcreate"; "/dev/sda1"];
1109        ["pvcreate"; "/dev/sda2"];
1110        ["pvcreate"; "/dev/sda3"];
1111        ["vgcreate"; "VG1"; "/dev/sda1 /dev/sda2"];
1112        ["vgcreate"; "VG2"; "/dev/sda3"];
1113        ["lvcreate"; "LV1"; "VG1"; "50"];
1114        ["lvcreate"; "LV2"; "VG1"; "50"];
1115        ["lvcreate"; "LV3"; "VG2"; "50"];
1116        ["lvs"]], ["/dev/VG1/LV1"; "/dev/VG1/LV2"; "/dev/VG2/LV3"])],
1117    "list the LVM logical volumes (LVs)",
1118    "\
1119 List all the logical volumes detected.  This is the equivalent
1120 of the L<lvs(8)> command.
1121
1122 This returns a list of the logical volume device names
1123 (eg. C</dev/VolGroup00/LogVol00>).
1124
1125 See also C<guestfs_lvs_full>.");
1126
1127   ("pvs_full", (RStructList ("physvols", "lvm_pv"), []), 12, [Optional "lvm2"],
1128    [], (* XXX how to test? *)
1129    "list the LVM physical volumes (PVs)",
1130    "\
1131 List all the physical volumes detected.  This is the equivalent
1132 of the L<pvs(8)> command.  The \"full\" version includes all fields.");
1133
1134   ("vgs_full", (RStructList ("volgroups", "lvm_vg"), []), 13, [Optional "lvm2"],
1135    [], (* XXX how to test? *)
1136    "list the LVM volume groups (VGs)",
1137    "\
1138 List all the volumes groups detected.  This is the equivalent
1139 of the L<vgs(8)> command.  The \"full\" version includes all fields.");
1140
1141   ("lvs_full", (RStructList ("logvols", "lvm_lv"), []), 14, [Optional "lvm2"],
1142    [], (* XXX how to test? *)
1143    "list the LVM logical volumes (LVs)",
1144    "\
1145 List all the logical volumes detected.  This is the equivalent
1146 of the L<lvs(8)> command.  The \"full\" version includes all fields.");
1147
1148   ("read_lines", (RStringList "lines", [Pathname "path"]), 15, [],
1149    [InitISOFS, Always, TestOutputList (
1150       [["read_lines"; "/known-4"]], ["abc"; "def"; "ghi"]);
1151     InitISOFS, Always, TestOutputList (
1152       [["read_lines"; "/empty"]], [])],
1153    "read file as lines",
1154    "\
1155 Return the contents of the file named C<path>.
1156
1157 The file contents are returned as a list of lines.  Trailing
1158 C<LF> and C<CRLF> character sequences are I<not> returned.
1159
1160 Note that this function cannot correctly handle binary files
1161 (specifically, files containing C<\\0> character which is treated
1162 as end of line).  For those you need to use the C<guestfs_read_file>
1163 function which has a more complex interface.");
1164
1165   ("aug_init", (RErr, [Pathname "root"; Int "flags"]), 16, [Optional "augeas"],
1166    [], (* XXX Augeas code needs tests. *)
1167    "create a new Augeas handle",
1168    "\
1169 Create a new Augeas handle for editing configuration files.
1170 If there was any previous Augeas handle associated with this
1171 guestfs session, then it is closed.
1172
1173 You must call this before using any other C<guestfs_aug_*>
1174 commands.
1175
1176 C<root> is the filesystem root.  C<root> must not be NULL,
1177 use C</> instead.
1178
1179 The flags are the same as the flags defined in
1180 E<lt>augeas.hE<gt>, the logical I<or> of the following
1181 integers:
1182
1183 =over 4
1184
1185 =item C<AUG_SAVE_BACKUP> = 1
1186
1187 Keep the original file with a C<.augsave> extension.
1188
1189 =item C<AUG_SAVE_NEWFILE> = 2
1190
1191 Save changes into a file with extension C<.augnew>, and
1192 do not overwrite original.  Overrides C<AUG_SAVE_BACKUP>.
1193
1194 =item C<AUG_TYPE_CHECK> = 4
1195
1196 Typecheck lenses (can be expensive).
1197
1198 =item C<AUG_NO_STDINC> = 8
1199
1200 Do not use standard load path for modules.
1201
1202 =item C<AUG_SAVE_NOOP> = 16
1203
1204 Make save a no-op, just record what would have been changed.
1205
1206 =item C<AUG_NO_LOAD> = 32
1207
1208 Do not load the tree in C<guestfs_aug_init>.
1209
1210 =back
1211
1212 To close the handle, you can call C<guestfs_aug_close>.
1213
1214 To find out more about Augeas, see L<http://augeas.net/>.");
1215
1216   ("aug_close", (RErr, []), 26, [Optional "augeas"],
1217    [], (* XXX Augeas code needs tests. *)
1218    "close the current Augeas handle",
1219    "\
1220 Close the current Augeas handle and free up any resources
1221 used by it.  After calling this, you have to call
1222 C<guestfs_aug_init> again before you can use any other
1223 Augeas functions.");
1224
1225   ("aug_defvar", (RInt "nrnodes", [String "name"; OptString "expr"]), 17, [Optional "augeas"],
1226    [], (* XXX Augeas code needs tests. *)
1227    "define an Augeas variable",
1228    "\
1229 Defines an Augeas variable C<name> whose value is the result
1230 of evaluating C<expr>.  If C<expr> is NULL, then C<name> is
1231 undefined.
1232
1233 On success this returns the number of nodes in C<expr>, or
1234 C<0> if C<expr> evaluates to something which is not a nodeset.");
1235
1236   ("aug_defnode", (RStruct ("nrnodescreated", "int_bool"), [String "name"; String "expr"; String "val"]), 18, [Optional "augeas"],
1237    [], (* XXX Augeas code needs tests. *)
1238    "define an Augeas node",
1239    "\
1240 Defines a variable C<name> whose value is the result of
1241 evaluating C<expr>.
1242
1243 If C<expr> evaluates to an empty nodeset, a node is created,
1244 equivalent to calling C<guestfs_aug_set> C<expr>, C<value>.
1245 C<name> will be the nodeset containing that single node.
1246
1247 On success this returns a pair containing the
1248 number of nodes in the nodeset, and a boolean flag
1249 if a node was created.");
1250
1251   ("aug_get", (RString "val", [String "augpath"]), 19, [Optional "augeas"],
1252    [], (* XXX Augeas code needs tests. *)
1253    "look up the value of an Augeas path",
1254    "\
1255 Look up the value associated with C<path>.  If C<path>
1256 matches exactly one node, the C<value> is returned.");
1257
1258   ("aug_set", (RErr, [String "augpath"; String "val"]), 20, [Optional "augeas"],
1259    [], (* XXX Augeas code needs tests. *)
1260    "set Augeas path to value",
1261    "\
1262 Set the value associated with C<path> to C<val>.
1263
1264 In the Augeas API, it is possible to clear a node by setting
1265 the value to NULL.  Due to an oversight in the libguestfs API
1266 you cannot do that with this call.  Instead you must use the
1267 C<guestfs_aug_clear> call.");
1268
1269   ("aug_insert", (RErr, [String "augpath"; String "label"; Bool "before"]), 21, [Optional "augeas"],
1270    [], (* XXX Augeas code needs tests. *)
1271    "insert a sibling Augeas node",
1272    "\
1273 Create a new sibling C<label> for C<path>, inserting it into
1274 the tree before or after C<path> (depending on the boolean
1275 flag C<before>).
1276
1277 C<path> must match exactly one existing node in the tree, and
1278 C<label> must be a label, ie. not contain C</>, C<*> or end
1279 with a bracketed index C<[N]>.");
1280
1281   ("aug_rm", (RInt "nrnodes", [String "augpath"]), 22, [Optional "augeas"],
1282    [], (* XXX Augeas code needs tests. *)
1283    "remove an Augeas path",
1284    "\
1285 Remove C<path> and all of its children.
1286
1287 On success this returns the number of entries which were removed.");
1288
1289   ("aug_mv", (RErr, [String "src"; String "dest"]), 23, [Optional "augeas"],
1290    [], (* XXX Augeas code needs tests. *)
1291    "move Augeas node",
1292    "\
1293 Move the node C<src> to C<dest>.  C<src> must match exactly
1294 one node.  C<dest> is overwritten if it exists.");
1295
1296   ("aug_match", (RStringList "matches", [String "augpath"]), 24, [Optional "augeas"],
1297    [], (* XXX Augeas code needs tests. *)
1298    "return Augeas nodes which match augpath",
1299    "\
1300 Returns a list of paths which match the path expression C<path>.
1301 The returned paths are sufficiently qualified so that they match
1302 exactly one node in the current tree.");
1303
1304   ("aug_save", (RErr, []), 25, [Optional "augeas"],
1305    [], (* XXX Augeas code needs tests. *)
1306    "write all pending Augeas changes to disk",
1307    "\
1308 This writes all pending changes to disk.
1309
1310 The flags which were passed to C<guestfs_aug_init> affect exactly
1311 how files are saved.");
1312
1313   ("aug_load", (RErr, []), 27, [Optional "augeas"],
1314    [], (* XXX Augeas code needs tests. *)
1315    "load files into the tree",
1316    "\
1317 Load files into the tree.
1318
1319 See C<aug_load> in the Augeas documentation for the full gory
1320 details.");
1321
1322   ("aug_ls", (RStringList "matches", [String "augpath"]), 28, [Optional "augeas"],
1323    [], (* XXX Augeas code needs tests. *)
1324    "list Augeas nodes under augpath",
1325    "\
1326 This is just a shortcut for listing C<guestfs_aug_match>
1327 C<path/*> and sorting the resulting nodes into alphabetical order.");
1328
1329   ("rm", (RErr, [Pathname "path"]), 29, [],
1330    [InitBasicFS, Always, TestRun
1331       [["touch"; "/new"];
1332        ["rm"; "/new"]];
1333     InitBasicFS, Always, TestLastFail
1334       [["rm"; "/new"]];
1335     InitBasicFS, Always, TestLastFail
1336       [["mkdir"; "/new"];
1337        ["rm"; "/new"]]],
1338    "remove a file",
1339    "\
1340 Remove the single file C<path>.");
1341
1342   ("rmdir", (RErr, [Pathname "path"]), 30, [],
1343    [InitBasicFS, Always, TestRun
1344       [["mkdir"; "/new"];
1345        ["rmdir"; "/new"]];
1346     InitBasicFS, Always, TestLastFail
1347       [["rmdir"; "/new"]];
1348     InitBasicFS, Always, TestLastFail
1349       [["touch"; "/new"];
1350        ["rmdir"; "/new"]]],
1351    "remove a directory",
1352    "\
1353 Remove the single directory C<path>.");
1354
1355   ("rm_rf", (RErr, [Pathname "path"]), 31, [],
1356    [InitBasicFS, Always, TestOutputFalse
1357       [["mkdir"; "/new"];
1358        ["mkdir"; "/new/foo"];
1359        ["touch"; "/new/foo/bar"];
1360        ["rm_rf"; "/new"];
1361        ["exists"; "/new"]]],
1362    "remove a file or directory recursively",
1363    "\
1364 Remove the file or directory C<path>, recursively removing the
1365 contents if its a directory.  This is like the C<rm -rf> shell
1366 command.");
1367
1368   ("mkdir", (RErr, [Pathname "path"]), 32, [],
1369    [InitBasicFS, Always, TestOutputTrue
1370       [["mkdir"; "/new"];
1371        ["is_dir"; "/new"]];
1372     InitBasicFS, Always, TestLastFail
1373       [["mkdir"; "/new/foo/bar"]]],
1374    "create a directory",
1375    "\
1376 Create a directory named C<path>.");
1377
1378   ("mkdir_p", (RErr, [Pathname "path"]), 33, [],
1379    [InitBasicFS, Always, TestOutputTrue
1380       [["mkdir_p"; "/new/foo/bar"];
1381        ["is_dir"; "/new/foo/bar"]];
1382     InitBasicFS, Always, TestOutputTrue
1383       [["mkdir_p"; "/new/foo/bar"];
1384        ["is_dir"; "/new/foo"]];
1385     InitBasicFS, Always, TestOutputTrue
1386       [["mkdir_p"; "/new/foo/bar"];
1387        ["is_dir"; "/new"]];
1388     (* Regression tests for RHBZ#503133: *)
1389     InitBasicFS, Always, TestRun
1390       [["mkdir"; "/new"];
1391        ["mkdir_p"; "/new"]];
1392     InitBasicFS, Always, TestLastFail
1393       [["touch"; "/new"];
1394        ["mkdir_p"; "/new"]]],
1395    "create a directory and parents",
1396    "\
1397 Create a directory named C<path>, creating any parent directories
1398 as necessary.  This is like the C<mkdir -p> shell command.");
1399
1400   ("chmod", (RErr, [Int "mode"; Pathname "path"]), 34, [],
1401    [], (* XXX Need stat command to test *)
1402    "change file mode",
1403    "\
1404 Change the mode (permissions) of C<path> to C<mode>.  Only
1405 numeric modes are supported.
1406
1407 I<Note>: When using this command from guestfish, C<mode>
1408 by default would be decimal, unless you prefix it with
1409 C<0> to get octal, ie. use C<0700> not C<700>.
1410
1411 The mode actually set is affected by the umask.");
1412
1413   ("chown", (RErr, [Int "owner"; Int "group"; Pathname "path"]), 35, [],
1414    [], (* XXX Need stat command to test *)
1415    "change file owner and group",
1416    "\
1417 Change the file owner to C<owner> and group to C<group>.
1418
1419 Only numeric uid and gid are supported.  If you want to use
1420 names, you will need to locate and parse the password file
1421 yourself (Augeas support makes this relatively easy).");
1422
1423   ("exists", (RBool "existsflag", [Pathname "path"]), 36, [],
1424    [InitISOFS, Always, TestOutputTrue (
1425       [["exists"; "/empty"]]);
1426     InitISOFS, Always, TestOutputTrue (
1427       [["exists"; "/directory"]])],
1428    "test if file or directory exists",
1429    "\
1430 This returns C<true> if and only if there is a file, directory
1431 (or anything) with the given C<path> name.
1432
1433 See also C<guestfs_is_file>, C<guestfs_is_dir>, C<guestfs_stat>.");
1434
1435   ("is_file", (RBool "fileflag", [Pathname "path"]), 37, [],
1436    [InitISOFS, Always, TestOutputTrue (
1437       [["is_file"; "/known-1"]]);
1438     InitISOFS, Always, TestOutputFalse (
1439       [["is_file"; "/directory"]])],
1440    "test if file exists",
1441    "\
1442 This returns C<true> if and only if there is a file
1443 with the given C<path> name.  Note that it returns false for
1444 other objects like directories.
1445
1446 See also C<guestfs_stat>.");
1447
1448   ("is_dir", (RBool "dirflag", [Pathname "path"]), 38, [],
1449    [InitISOFS, Always, TestOutputFalse (
1450       [["is_dir"; "/known-3"]]);
1451     InitISOFS, Always, TestOutputTrue (
1452       [["is_dir"; "/directory"]])],
1453    "test if file exists",
1454    "\
1455 This returns C<true> if and only if there is a directory
1456 with the given C<path> name.  Note that it returns false for
1457 other objects like files.
1458
1459 See also C<guestfs_stat>.");
1460
1461   ("pvcreate", (RErr, [Device "device"]), 39, [Optional "lvm2"],
1462    [InitEmpty, Always, TestOutputListOfDevices (
1463       [["sfdiskM"; "/dev/sda"; ",100 ,200 ,"];
1464        ["pvcreate"; "/dev/sda1"];
1465        ["pvcreate"; "/dev/sda2"];
1466        ["pvcreate"; "/dev/sda3"];
1467        ["pvs"]], ["/dev/sda1"; "/dev/sda2"; "/dev/sda3"])],
1468    "create an LVM physical volume",
1469    "\
1470 This creates an LVM physical volume on the named C<device>,
1471 where C<device> should usually be a partition name such
1472 as C</dev/sda1>.");
1473
1474   ("vgcreate", (RErr, [String "volgroup"; DeviceList "physvols"]), 40, [Optional "lvm2"],
1475    [InitEmpty, Always, TestOutputList (
1476       [["sfdiskM"; "/dev/sda"; ",100 ,200 ,"];
1477        ["pvcreate"; "/dev/sda1"];
1478        ["pvcreate"; "/dev/sda2"];
1479        ["pvcreate"; "/dev/sda3"];
1480        ["vgcreate"; "VG1"; "/dev/sda1 /dev/sda2"];
1481        ["vgcreate"; "VG2"; "/dev/sda3"];
1482        ["vgs"]], ["VG1"; "VG2"])],
1483    "create an LVM volume group",
1484    "\
1485 This creates an LVM volume group called C<volgroup>
1486 from the non-empty list of physical volumes C<physvols>.");
1487
1488   ("lvcreate", (RErr, [String "logvol"; String "volgroup"; Int "mbytes"]), 41, [Optional "lvm2"],
1489    [InitEmpty, Always, TestOutputList (
1490       [["sfdiskM"; "/dev/sda"; ",100 ,200 ,"];
1491        ["pvcreate"; "/dev/sda1"];
1492        ["pvcreate"; "/dev/sda2"];
1493        ["pvcreate"; "/dev/sda3"];
1494        ["vgcreate"; "VG1"; "/dev/sda1 /dev/sda2"];
1495        ["vgcreate"; "VG2"; "/dev/sda3"];
1496        ["lvcreate"; "LV1"; "VG1"; "50"];
1497        ["lvcreate"; "LV2"; "VG1"; "50"];
1498        ["lvcreate"; "LV3"; "VG2"; "50"];
1499        ["lvcreate"; "LV4"; "VG2"; "50"];
1500        ["lvcreate"; "LV5"; "VG2"; "50"];
1501        ["lvs"]],
1502       ["/dev/VG1/LV1"; "/dev/VG1/LV2";
1503        "/dev/VG2/LV3"; "/dev/VG2/LV4"; "/dev/VG2/LV5"])],
1504    "create an LVM logical volume",
1505    "\
1506 This creates an LVM logical volume called C<logvol>
1507 on the volume group C<volgroup>, with C<size> megabytes.");
1508
1509   ("mkfs", (RErr, [String "fstype"; Device "device"]), 42, [],
1510    [InitEmpty, Always, TestOutput (
1511       [["part_disk"; "/dev/sda"; "mbr"];
1512        ["mkfs"; "ext2"; "/dev/sda1"];
1513        ["mount_options"; ""; "/dev/sda1"; "/"];
1514        ["write"; "/new"; "new file contents"];
1515        ["cat"; "/new"]], "new file contents")],
1516    "make a filesystem",
1517    "\
1518 This creates a filesystem on C<device> (usually a partition
1519 or LVM logical volume).  The filesystem type is C<fstype>, for
1520 example C<ext3>.");
1521
1522   ("sfdisk", (RErr, [Device "device";
1523                      Int "cyls"; Int "heads"; Int "sectors";
1524                      StringList "lines"]), 43, [DangerWillRobinson],
1525    [],
1526    "create partitions on a block device",
1527    "\
1528 This is a direct interface to the L<sfdisk(8)> program for creating
1529 partitions on block devices.
1530
1531 C<device> should be a block device, for example C</dev/sda>.
1532
1533 C<cyls>, C<heads> and C<sectors> are the number of cylinders, heads
1534 and sectors on the device, which are passed directly to sfdisk as
1535 the I<-C>, I<-H> and I<-S> parameters.  If you pass C<0> for any
1536 of these, then the corresponding parameter is omitted.  Usually for
1537 'large' disks, you can just pass C<0> for these, but for small
1538 (floppy-sized) disks, sfdisk (or rather, the kernel) cannot work
1539 out the right geometry and you will need to tell it.
1540
1541 C<lines> is a list of lines that we feed to C<sfdisk>.  For more
1542 information refer to the L<sfdisk(8)> manpage.
1543
1544 To create a single partition occupying the whole disk, you would
1545 pass C<lines> as a single element list, when the single element being
1546 the string C<,> (comma).
1547
1548 See also: C<guestfs_sfdisk_l>, C<guestfs_sfdisk_N>,
1549 C<guestfs_part_init>");
1550
1551   ("write_file", (RErr, [Pathname "path"; String "content"; Int "size"]), 44, [ProtocolLimitWarning; DeprecatedBy "write"],
1552    (* Regression test for RHBZ#597135. *)
1553    [InitBasicFS, Always, TestLastFail
1554       [["write_file"; "/new"; "abc"; "10000"]]],
1555    "create a file",
1556    "\
1557 This call creates a file called C<path>.  The contents of the
1558 file is the string C<content> (which can contain any 8 bit data),
1559 with length C<size>.
1560
1561 As a special case, if C<size> is C<0>
1562 then the length is calculated using C<strlen> (so in this case
1563 the content cannot contain embedded ASCII NULs).
1564
1565 I<NB.> Owing to a bug, writing content containing ASCII NUL
1566 characters does I<not> work, even if the length is specified.");
1567
1568   ("umount", (RErr, [String "pathordevice"]), 45, [FishAlias "unmount"],
1569    [InitEmpty, Always, TestOutputListOfDevices (
1570       [["part_disk"; "/dev/sda"; "mbr"];
1571        ["mkfs"; "ext2"; "/dev/sda1"];
1572        ["mount_options"; ""; "/dev/sda1"; "/"];
1573        ["mounts"]], ["/dev/sda1"]);
1574     InitEmpty, Always, TestOutputList (
1575       [["part_disk"; "/dev/sda"; "mbr"];
1576        ["mkfs"; "ext2"; "/dev/sda1"];
1577        ["mount_options"; ""; "/dev/sda1"; "/"];
1578        ["umount"; "/"];
1579        ["mounts"]], [])],
1580    "unmount a filesystem",
1581    "\
1582 This unmounts the given filesystem.  The filesystem may be
1583 specified either by its mountpoint (path) or the device which
1584 contains the filesystem.");
1585
1586   ("mounts", (RStringList "devices", []), 46, [],
1587    [InitBasicFS, Always, TestOutputListOfDevices (
1588       [["mounts"]], ["/dev/sda1"])],
1589    "show mounted filesystems",
1590    "\
1591 This returns the list of currently mounted filesystems.  It returns
1592 the list of devices (eg. C</dev/sda1>, C</dev/VG/LV>).
1593
1594 Some internal mounts are not shown.
1595
1596 See also: C<guestfs_mountpoints>");
1597
1598   ("umount_all", (RErr, []), 47, [FishAlias "unmount-all"],
1599    [InitBasicFS, Always, TestOutputList (
1600       [["umount_all"];
1601        ["mounts"]], []);
1602     (* check that umount_all can unmount nested mounts correctly: *)
1603     InitEmpty, Always, TestOutputList (
1604       [["sfdiskM"; "/dev/sda"; ",100 ,200 ,"];
1605        ["mkfs"; "ext2"; "/dev/sda1"];
1606        ["mkfs"; "ext2"; "/dev/sda2"];
1607        ["mkfs"; "ext2"; "/dev/sda3"];
1608        ["mount_options"; ""; "/dev/sda1"; "/"];
1609        ["mkdir"; "/mp1"];
1610        ["mount_options"; ""; "/dev/sda2"; "/mp1"];
1611        ["mkdir"; "/mp1/mp2"];
1612        ["mount_options"; ""; "/dev/sda3"; "/mp1/mp2"];
1613        ["mkdir"; "/mp1/mp2/mp3"];
1614        ["umount_all"];
1615        ["mounts"]], [])],
1616    "unmount all filesystems",
1617    "\
1618 This unmounts all mounted filesystems.
1619
1620 Some internal mounts are not unmounted by this call.");
1621
1622   ("lvm_remove_all", (RErr, []), 48, [DangerWillRobinson; Optional "lvm2"],
1623    [],
1624    "remove all LVM LVs, VGs and PVs",
1625    "\
1626 This command removes all LVM logical volumes, volume groups
1627 and physical volumes.");
1628
1629   ("file", (RString "description", [Dev_or_Path "path"]), 49, [],
1630    [InitISOFS, Always, TestOutput (
1631       [["file"; "/empty"]], "empty");
1632     InitISOFS, Always, TestOutput (
1633       [["file"; "/known-1"]], "ASCII text");
1634     InitISOFS, Always, TestLastFail (
1635       [["file"; "/notexists"]]);
1636     InitISOFS, Always, TestOutput (
1637       [["file"; "/abssymlink"]], "symbolic link");
1638     InitISOFS, Always, TestOutput (
1639       [["file"; "/directory"]], "directory")],
1640    "determine file type",
1641    "\
1642 This call uses the standard L<file(1)> command to determine
1643 the type or contents of the file.
1644
1645 This call will also transparently look inside various types
1646 of compressed file.
1647
1648 The exact command which runs is C<file -zb path>.  Note in
1649 particular that the filename is not prepended to the output
1650 (the C<-b> option).
1651
1652 This command can also be used on C</dev/> devices
1653 (and partitions, LV names).  You can for example use this
1654 to determine if a device contains a filesystem, although
1655 it's usually better to use C<guestfs_vfs_type>.
1656
1657 If the C<path> does not begin with C</dev/> then
1658 this command only works for the content of regular files.
1659 For other file types (directory, symbolic link etc) it
1660 will just return the string C<directory> etc.");
1661
1662   ("command", (RString "output", [StringList "arguments"]), 50, [ProtocolLimitWarning],
1663    [InitBasicFS, Always, TestOutput (
1664       [["upload"; "test-command"; "/test-command"];
1665        ["chmod"; "0o755"; "/test-command"];
1666        ["command"; "/test-command 1"]], "Result1");
1667     InitBasicFS, Always, TestOutput (
1668       [["upload"; "test-command"; "/test-command"];
1669        ["chmod"; "0o755"; "/test-command"];
1670        ["command"; "/test-command 2"]], "Result2\n");
1671     InitBasicFS, Always, TestOutput (
1672       [["upload"; "test-command"; "/test-command"];
1673        ["chmod"; "0o755"; "/test-command"];
1674        ["command"; "/test-command 3"]], "\nResult3");
1675     InitBasicFS, Always, TestOutput (
1676       [["upload"; "test-command"; "/test-command"];
1677        ["chmod"; "0o755"; "/test-command"];
1678        ["command"; "/test-command 4"]], "\nResult4\n");
1679     InitBasicFS, Always, TestOutput (
1680       [["upload"; "test-command"; "/test-command"];
1681        ["chmod"; "0o755"; "/test-command"];
1682        ["command"; "/test-command 5"]], "\nResult5\n\n");
1683     InitBasicFS, Always, TestOutput (
1684       [["upload"; "test-command"; "/test-command"];
1685        ["chmod"; "0o755"; "/test-command"];
1686        ["command"; "/test-command 6"]], "\n\nResult6\n\n");
1687     InitBasicFS, Always, TestOutput (
1688       [["upload"; "test-command"; "/test-command"];
1689        ["chmod"; "0o755"; "/test-command"];
1690        ["command"; "/test-command 7"]], "");
1691     InitBasicFS, Always, TestOutput (
1692       [["upload"; "test-command"; "/test-command"];
1693        ["chmod"; "0o755"; "/test-command"];
1694        ["command"; "/test-command 8"]], "\n");
1695     InitBasicFS, Always, TestOutput (
1696       [["upload"; "test-command"; "/test-command"];
1697        ["chmod"; "0o755"; "/test-command"];
1698        ["command"; "/test-command 9"]], "\n\n");
1699     InitBasicFS, Always, TestOutput (
1700       [["upload"; "test-command"; "/test-command"];
1701        ["chmod"; "0o755"; "/test-command"];
1702        ["command"; "/test-command 10"]], "Result10-1\nResult10-2\n");
1703     InitBasicFS, Always, TestOutput (
1704       [["upload"; "test-command"; "/test-command"];
1705        ["chmod"; "0o755"; "/test-command"];
1706        ["command"; "/test-command 11"]], "Result11-1\nResult11-2");
1707     InitBasicFS, Always, TestLastFail (
1708       [["upload"; "test-command"; "/test-command"];
1709        ["chmod"; "0o755"; "/test-command"];
1710        ["command"; "/test-command"]])],
1711    "run a command from the guest filesystem",
1712    "\
1713 This call runs a command from the guest filesystem.  The
1714 filesystem must be mounted, and must contain a compatible
1715 operating system (ie. something Linux, with the same
1716 or compatible processor architecture).
1717
1718 The single parameter is an argv-style list of arguments.
1719 The first element is the name of the program to run.
1720 Subsequent elements are parameters.  The list must be
1721 non-empty (ie. must contain a program name).  Note that
1722 the command runs directly, and is I<not> invoked via
1723 the shell (see C<guestfs_sh>).
1724
1725 The return value is anything printed to I<stdout> by
1726 the command.
1727
1728 If the command returns a non-zero exit status, then
1729 this function returns an error message.  The error message
1730 string is the content of I<stderr> from the command.
1731
1732 The C<$PATH> environment variable will contain at least
1733 C</usr/bin> and C</bin>.  If you require a program from
1734 another location, you should provide the full path in the
1735 first parameter.
1736
1737 Shared libraries and data files required by the program
1738 must be available on filesystems which are mounted in the
1739 correct places.  It is the caller's responsibility to ensure
1740 all filesystems that are needed are mounted at the right
1741 locations.");
1742
1743   ("command_lines", (RStringList "lines", [StringList "arguments"]), 51, [ProtocolLimitWarning],
1744    [InitBasicFS, Always, TestOutputList (
1745       [["upload"; "test-command"; "/test-command"];
1746        ["chmod"; "0o755"; "/test-command"];
1747        ["command_lines"; "/test-command 1"]], ["Result1"]);
1748     InitBasicFS, Always, TestOutputList (
1749       [["upload"; "test-command"; "/test-command"];
1750        ["chmod"; "0o755"; "/test-command"];
1751        ["command_lines"; "/test-command 2"]], ["Result2"]);
1752     InitBasicFS, Always, TestOutputList (
1753       [["upload"; "test-command"; "/test-command"];
1754        ["chmod"; "0o755"; "/test-command"];
1755        ["command_lines"; "/test-command 3"]], ["";"Result3"]);
1756     InitBasicFS, Always, TestOutputList (
1757       [["upload"; "test-command"; "/test-command"];
1758        ["chmod"; "0o755"; "/test-command"];
1759        ["command_lines"; "/test-command 4"]], ["";"Result4"]);
1760     InitBasicFS, Always, TestOutputList (
1761       [["upload"; "test-command"; "/test-command"];
1762        ["chmod"; "0o755"; "/test-command"];
1763        ["command_lines"; "/test-command 5"]], ["";"Result5";""]);
1764     InitBasicFS, Always, TestOutputList (
1765       [["upload"; "test-command"; "/test-command"];
1766        ["chmod"; "0o755"; "/test-command"];
1767        ["command_lines"; "/test-command 6"]], ["";"";"Result6";""]);
1768     InitBasicFS, Always, TestOutputList (
1769       [["upload"; "test-command"; "/test-command"];
1770        ["chmod"; "0o755"; "/test-command"];
1771        ["command_lines"; "/test-command 7"]], []);
1772     InitBasicFS, Always, TestOutputList (
1773       [["upload"; "test-command"; "/test-command"];
1774        ["chmod"; "0o755"; "/test-command"];
1775        ["command_lines"; "/test-command 8"]], [""]);
1776     InitBasicFS, Always, TestOutputList (
1777       [["upload"; "test-command"; "/test-command"];
1778        ["chmod"; "0o755"; "/test-command"];
1779        ["command_lines"; "/test-command 9"]], ["";""]);
1780     InitBasicFS, Always, TestOutputList (
1781       [["upload"; "test-command"; "/test-command"];
1782        ["chmod"; "0o755"; "/test-command"];
1783        ["command_lines"; "/test-command 10"]], ["Result10-1";"Result10-2"]);
1784     InitBasicFS, Always, TestOutputList (
1785       [["upload"; "test-command"; "/test-command"];
1786        ["chmod"; "0o755"; "/test-command"];
1787        ["command_lines"; "/test-command 11"]], ["Result11-1";"Result11-2"])],
1788    "run a command, returning lines",
1789    "\
1790 This is the same as C<guestfs_command>, but splits the
1791 result into a list of lines.
1792
1793 See also: C<guestfs_sh_lines>");
1794
1795   ("stat", (RStruct ("statbuf", "stat"), [Pathname "path"]), 52, [],
1796    [InitISOFS, Always, TestOutputStruct (
1797       [["stat"; "/empty"]], [CompareWithInt ("size", 0)])],
1798    "get file information",
1799    "\
1800 Returns file information for the given C<path>.
1801
1802 This is the same as the C<stat(2)> system call.");
1803
1804   ("lstat", (RStruct ("statbuf", "stat"), [Pathname "path"]), 53, [],
1805    [InitISOFS, Always, TestOutputStruct (
1806       [["lstat"; "/empty"]], [CompareWithInt ("size", 0)])],
1807    "get file information for a symbolic link",
1808    "\
1809 Returns file information for the given C<path>.
1810
1811 This is the same as C<guestfs_stat> except that if C<path>
1812 is a symbolic link, then the link is stat-ed, not the file it
1813 refers to.
1814
1815 This is the same as the C<lstat(2)> system call.");
1816
1817   ("statvfs", (RStruct ("statbuf", "statvfs"), [Pathname "path"]), 54, [],
1818    [InitISOFS, Always, TestOutputStruct (
1819       [["statvfs"; "/"]], [CompareWithInt ("namemax", 255)])],
1820    "get file system statistics",
1821    "\
1822 Returns file system statistics for any mounted file system.
1823 C<path> should be a file or directory in the mounted file system
1824 (typically it is the mount point itself, but it doesn't need to be).
1825
1826 This is the same as the C<statvfs(2)> system call.");
1827
1828   ("tune2fs_l", (RHashtable "superblock", [Device "device"]), 55, [],
1829    [], (* XXX test *)
1830    "get ext2/ext3/ext4 superblock details",
1831    "\
1832 This returns the contents of the ext2, ext3 or ext4 filesystem
1833 superblock on C<device>.
1834
1835 It is the same as running C<tune2fs -l device>.  See L<tune2fs(8)>
1836 manpage for more details.  The list of fields returned isn't
1837 clearly defined, and depends on both the version of C<tune2fs>
1838 that libguestfs was built against, and the filesystem itself.");
1839
1840   ("blockdev_setro", (RErr, [Device "device"]), 56, [],
1841    [InitEmpty, Always, TestOutputTrue (
1842       [["blockdev_setro"; "/dev/sda"];
1843        ["blockdev_getro"; "/dev/sda"]])],
1844    "set block device to read-only",
1845    "\
1846 Sets the block device named C<device> to read-only.
1847
1848 This uses the L<blockdev(8)> command.");
1849
1850   ("blockdev_setrw", (RErr, [Device "device"]), 57, [],
1851    [InitEmpty, Always, TestOutputFalse (
1852       [["blockdev_setrw"; "/dev/sda"];
1853        ["blockdev_getro"; "/dev/sda"]])],
1854    "set block device to read-write",
1855    "\
1856 Sets the block device named C<device> to read-write.
1857
1858 This uses the L<blockdev(8)> command.");
1859
1860   ("blockdev_getro", (RBool "ro", [Device "device"]), 58, [],
1861    [InitEmpty, Always, TestOutputTrue (
1862       [["blockdev_setro"; "/dev/sda"];
1863        ["blockdev_getro"; "/dev/sda"]])],
1864    "is block device set to read-only",
1865    "\
1866 Returns a boolean indicating if the block device is read-only
1867 (true if read-only, false if not).
1868
1869 This uses the L<blockdev(8)> command.");
1870
1871   ("blockdev_getss", (RInt "sectorsize", [Device "device"]), 59, [],
1872    [InitEmpty, Always, TestOutputInt (
1873       [["blockdev_getss"; "/dev/sda"]], 512)],
1874    "get sectorsize of block device",
1875    "\
1876 This returns the size of sectors on a block device.
1877 Usually 512, but can be larger for modern devices.
1878
1879 (Note, this is not the size in sectors, use C<guestfs_blockdev_getsz>
1880 for that).
1881
1882 This uses the L<blockdev(8)> command.");
1883
1884   ("blockdev_getbsz", (RInt "blocksize", [Device "device"]), 60, [],
1885    [InitEmpty, Always, TestOutputInt (
1886       [["blockdev_getbsz"; "/dev/sda"]], 4096)],
1887    "get blocksize of block device",
1888    "\
1889 This returns the block size of a device.
1890
1891 (Note this is different from both I<size in blocks> and
1892 I<filesystem block size>).
1893
1894 This uses the L<blockdev(8)> command.");
1895
1896   ("blockdev_setbsz", (RErr, [Device "device"; Int "blocksize"]), 61, [],
1897    [], (* XXX test *)
1898    "set blocksize of block device",
1899    "\
1900 This sets the block size of a device.
1901
1902 (Note this is different from both I<size in blocks> and
1903 I<filesystem block size>).
1904
1905 This uses the L<blockdev(8)> command.");
1906
1907   ("blockdev_getsz", (RInt64 "sizeinsectors", [Device "device"]), 62, [],
1908    [InitEmpty, Always, TestOutputInt (
1909       [["blockdev_getsz"; "/dev/sda"]], 1024000)],
1910    "get total size of device in 512-byte sectors",
1911    "\
1912 This returns the size of the device in units of 512-byte sectors
1913 (even if the sectorsize isn't 512 bytes ... weird).
1914
1915 See also C<guestfs_blockdev_getss> for the real sector size of
1916 the device, and C<guestfs_blockdev_getsize64> for the more
1917 useful I<size in bytes>.
1918
1919 This uses the L<blockdev(8)> command.");
1920
1921   ("blockdev_getsize64", (RInt64 "sizeinbytes", [Device "device"]), 63, [],
1922    [InitEmpty, Always, TestOutputInt (
1923       [["blockdev_getsize64"; "/dev/sda"]], 524288000)],
1924    "get total size of device in bytes",
1925    "\
1926 This returns the size of the device in bytes.
1927
1928 See also C<guestfs_blockdev_getsz>.
1929
1930 This uses the L<blockdev(8)> command.");
1931
1932   ("blockdev_flushbufs", (RErr, [Device "device"]), 64, [],
1933    [InitEmpty, Always, TestRun
1934       [["blockdev_flushbufs"; "/dev/sda"]]],
1935    "flush device buffers",
1936    "\
1937 This tells the kernel to flush internal buffers associated
1938 with C<device>.
1939
1940 This uses the L<blockdev(8)> command.");
1941
1942   ("blockdev_rereadpt", (RErr, [Device "device"]), 65, [],
1943    [InitEmpty, Always, TestRun
1944       [["blockdev_rereadpt"; "/dev/sda"]]],
1945    "reread partition table",
1946    "\
1947 Reread the partition table on C<device>.
1948
1949 This uses the L<blockdev(8)> command.");
1950
1951   ("upload", (RErr, [FileIn "filename"; Dev_or_Path "remotefilename"]), 66, [],
1952    [InitBasicFS, Always, TestOutput (
1953       (* Pick a file from cwd which isn't likely to change. *)
1954       [["upload"; "../COPYING.LIB"; "/COPYING.LIB"];
1955        ["checksum"; "md5"; "/COPYING.LIB"]],
1956       Digest.to_hex (Digest.file "COPYING.LIB"))],
1957    "upload a file from the local machine",
1958    "\
1959 Upload local file C<filename> to C<remotefilename> on the
1960 filesystem.
1961
1962 C<filename> can also be a named pipe.
1963
1964 See also C<guestfs_download>.");
1965
1966   ("download", (RErr, [Dev_or_Path "remotefilename"; FileOut "filename"]), 67, [],
1967    [InitBasicFS, Always, TestOutput (
1968       (* Pick a file from cwd which isn't likely to change. *)
1969       [["upload"; "../COPYING.LIB"; "/COPYING.LIB"];
1970        ["download"; "/COPYING.LIB"; "testdownload.tmp"];
1971        ["upload"; "testdownload.tmp"; "/upload"];
1972        ["checksum"; "md5"; "/upload"]],
1973       Digest.to_hex (Digest.file "COPYING.LIB"))],
1974    "download a file to the local machine",
1975    "\
1976 Download file C<remotefilename> and save it as C<filename>
1977 on the local machine.
1978
1979 C<filename> can also be a named pipe.
1980
1981 See also C<guestfs_upload>, C<guestfs_cat>.");
1982
1983   ("checksum", (RString "checksum", [String "csumtype"; Pathname "path"]), 68, [],
1984    [InitISOFS, Always, TestOutput (
1985       [["checksum"; "crc"; "/known-3"]], "2891671662");
1986     InitISOFS, Always, TestLastFail (
1987       [["checksum"; "crc"; "/notexists"]]);
1988     InitISOFS, Always, TestOutput (
1989       [["checksum"; "md5"; "/known-3"]], "46d6ca27ee07cdc6fa99c2e138cc522c");
1990     InitISOFS, Always, TestOutput (
1991       [["checksum"; "sha1"; "/known-3"]], "b7ebccc3ee418311091c3eda0a45b83c0a770f15");
1992     InitISOFS, Always, TestOutput (
1993       [["checksum"; "sha224"; "/known-3"]], "d2cd1774b28f3659c14116be0a6dc2bb5c4b350ce9cd5defac707741");
1994     InitISOFS, Always, TestOutput (
1995       [["checksum"; "sha256"; "/known-3"]], "75bb71b90cd20cb13f86d2bea8dad63ac7194e7517c3b52b8d06ff52d3487d30");
1996     InitISOFS, Always, TestOutput (
1997       [["checksum"; "sha384"; "/known-3"]], "5fa7883430f357b5d7b7271d3a1d2872b51d73cba72731de6863d3dea55f30646af2799bef44d5ea776a5ec7941ac640");
1998     InitISOFS, Always, TestOutput (
1999       [["checksum"; "sha512"; "/known-3"]], "2794062c328c6b216dca90443b7f7134c5f40e56bd0ed7853123275a09982a6f992e6ca682f9d2fba34a4c5e870d8fe077694ff831e3032a004ee077e00603f6");
2000     (* Test for RHBZ#579608, absolute symbolic links. *)
2001     InitISOFS, Always, TestOutput (
2002       [["checksum"; "sha512"; "/abssymlink"]], "5f57d0639bc95081c53afc63a449403883818edc64da48930ad6b1a4fb49be90404686877743fbcd7c99811f3def7df7bc22635c885c6a8cf79c806b43451c1a")],
2003    "compute MD5, SHAx or CRC checksum of file",
2004    "\
2005 This call computes the MD5, SHAx or CRC checksum of the
2006 file named C<path>.
2007
2008 The type of checksum to compute is given by the C<csumtype>
2009 parameter which must have one of the following values:
2010
2011 =over 4
2012
2013 =item C<crc>
2014
2015 Compute the cyclic redundancy check (CRC) specified by POSIX
2016 for the C<cksum> command.
2017
2018 =item C<md5>
2019
2020 Compute the MD5 hash (using the C<md5sum> program).
2021
2022 =item C<sha1>
2023
2024 Compute the SHA1 hash (using the C<sha1sum> program).
2025
2026 =item C<sha224>
2027
2028 Compute the SHA224 hash (using the C<sha224sum> program).
2029
2030 =item C<sha256>
2031
2032 Compute the SHA256 hash (using the C<sha256sum> program).
2033
2034 =item C<sha384>
2035
2036 Compute the SHA384 hash (using the C<sha384sum> program).
2037
2038 =item C<sha512>
2039
2040 Compute the SHA512 hash (using the C<sha512sum> program).
2041
2042 =back
2043
2044 The checksum is returned as a printable string.
2045
2046 To get the checksum for a device, use C<guestfs_checksum_device>.
2047
2048 To get the checksums for many files, use C<guestfs_checksums_out>.");
2049
2050   ("tar_in", (RErr, [FileIn "tarfile"; Pathname "directory"]), 69, [],
2051    [InitBasicFS, Always, TestOutput (
2052       [["tar_in"; "../images/helloworld.tar"; "/"];
2053        ["cat"; "/hello"]], "hello\n")],
2054    "unpack tarfile to directory",
2055    "\
2056 This command uploads and unpacks local file C<tarfile> (an
2057 I<uncompressed> tar file) into C<directory>.
2058
2059 To upload a compressed tarball, use C<guestfs_tgz_in>
2060 or C<guestfs_txz_in>.");
2061
2062   ("tar_out", (RErr, [String "directory"; FileOut "tarfile"]), 70, [],
2063    [],
2064    "pack directory into tarfile",
2065    "\
2066 This command packs the contents of C<directory> and downloads
2067 it to local file C<tarfile>.
2068
2069 To download a compressed tarball, use C<guestfs_tgz_out>
2070 or C<guestfs_txz_out>.");
2071
2072   ("tgz_in", (RErr, [FileIn "tarball"; Pathname "directory"]), 71, [],
2073    [InitBasicFS, Always, TestOutput (
2074       [["tgz_in"; "../images/helloworld.tar.gz"; "/"];
2075        ["cat"; "/hello"]], "hello\n")],
2076    "unpack compressed tarball to directory",
2077    "\
2078 This command uploads and unpacks local file C<tarball> (a
2079 I<gzip compressed> tar file) into C<directory>.
2080
2081 To upload an uncompressed tarball, use C<guestfs_tar_in>.");
2082
2083   ("tgz_out", (RErr, [Pathname "directory"; FileOut "tarball"]), 72, [],
2084    [],
2085    "pack directory into compressed tarball",
2086    "\
2087 This command packs the contents of C<directory> and downloads
2088 it to local file C<tarball>.
2089
2090 To download an uncompressed tarball, use C<guestfs_tar_out>.");
2091
2092   ("mount_ro", (RErr, [Device "device"; String "mountpoint"]), 73, [],
2093    [InitBasicFS, Always, TestLastFail (
2094       [["umount"; "/"];
2095        ["mount_ro"; "/dev/sda1"; "/"];
2096        ["touch"; "/new"]]);
2097     InitBasicFS, Always, TestOutput (
2098       [["write"; "/new"; "data"];
2099        ["umount"; "/"];
2100        ["mount_ro"; "/dev/sda1"; "/"];
2101        ["cat"; "/new"]], "data")],
2102    "mount a guest disk, read-only",
2103    "\
2104 This is the same as the C<guestfs_mount> command, but it
2105 mounts the filesystem with the read-only (I<-o ro>) flag.");
2106
2107   ("mount_options", (RErr, [String "options"; Device "device"; String "mountpoint"]), 74, [],
2108    [],
2109    "mount a guest disk with mount options",
2110    "\
2111 This is the same as the C<guestfs_mount> command, but it
2112 allows you to set the mount options as for the
2113 L<mount(8)> I<-o> flag.
2114
2115 If the C<options> parameter is an empty string, then
2116 no options are passed (all options default to whatever
2117 the filesystem uses).");
2118
2119   ("mount_vfs", (RErr, [String "options"; String "vfstype"; Device "device"; String "mountpoint"]), 75, [],
2120    [],
2121    "mount a guest disk with mount options and vfstype",
2122    "\
2123 This is the same as the C<guestfs_mount> command, but it
2124 allows you to set both the mount options and the vfstype
2125 as for the L<mount(8)> I<-o> and I<-t> flags.");
2126
2127   ("debug", (RString "result", [String "subcmd"; StringList "extraargs"]), 76, [],
2128    [],
2129    "debugging and internals",
2130    "\
2131 The C<guestfs_debug> command exposes some internals of
2132 C<guestfsd> (the guestfs daemon) that runs inside the
2133 qemu subprocess.
2134
2135 There is no comprehensive help for this command.  You have
2136 to look at the file C<daemon/debug.c> in the libguestfs source
2137 to find out what you can do.");
2138
2139   ("lvremove", (RErr, [Device "device"]), 77, [Optional "lvm2"],
2140    [InitEmpty, Always, TestOutputList (
2141       [["part_disk"; "/dev/sda"; "mbr"];
2142        ["pvcreate"; "/dev/sda1"];
2143        ["vgcreate"; "VG"; "/dev/sda1"];
2144        ["lvcreate"; "LV1"; "VG"; "50"];
2145        ["lvcreate"; "LV2"; "VG"; "50"];
2146        ["lvremove"; "/dev/VG/LV1"];
2147        ["lvs"]], ["/dev/VG/LV2"]);
2148     InitEmpty, Always, TestOutputList (
2149       [["part_disk"; "/dev/sda"; "mbr"];
2150        ["pvcreate"; "/dev/sda1"];
2151        ["vgcreate"; "VG"; "/dev/sda1"];
2152        ["lvcreate"; "LV1"; "VG"; "50"];
2153        ["lvcreate"; "LV2"; "VG"; "50"];
2154        ["lvremove"; "/dev/VG"];
2155        ["lvs"]], []);
2156     InitEmpty, Always, TestOutputList (
2157       [["part_disk"; "/dev/sda"; "mbr"];
2158        ["pvcreate"; "/dev/sda1"];
2159        ["vgcreate"; "VG"; "/dev/sda1"];
2160        ["lvcreate"; "LV1"; "VG"; "50"];
2161        ["lvcreate"; "LV2"; "VG"; "50"];
2162        ["lvremove"; "/dev/VG"];
2163        ["vgs"]], ["VG"])],
2164    "remove an LVM logical volume",
2165    "\
2166 Remove an LVM logical volume C<device>, where C<device> is
2167 the path to the LV, such as C</dev/VG/LV>.
2168
2169 You can also remove all LVs in a volume group by specifying
2170 the VG name, C</dev/VG>.");
2171
2172   ("vgremove", (RErr, [String "vgname"]), 78, [Optional "lvm2"],
2173    [InitEmpty, Always, TestOutputList (
2174       [["part_disk"; "/dev/sda"; "mbr"];
2175        ["pvcreate"; "/dev/sda1"];
2176        ["vgcreate"; "VG"; "/dev/sda1"];
2177        ["lvcreate"; "LV1"; "VG"; "50"];
2178        ["lvcreate"; "LV2"; "VG"; "50"];
2179        ["vgremove"; "VG"];
2180        ["lvs"]], []);
2181     InitEmpty, Always, TestOutputList (
2182       [["part_disk"; "/dev/sda"; "mbr"];
2183        ["pvcreate"; "/dev/sda1"];
2184        ["vgcreate"; "VG"; "/dev/sda1"];
2185        ["lvcreate"; "LV1"; "VG"; "50"];
2186        ["lvcreate"; "LV2"; "VG"; "50"];
2187        ["vgremove"; "VG"];
2188        ["vgs"]], [])],
2189    "remove an LVM volume group",
2190    "\
2191 Remove an LVM volume group C<vgname>, (for example C<VG>).
2192
2193 This also forcibly removes all logical volumes in the volume
2194 group (if any).");
2195
2196   ("pvremove", (RErr, [Device "device"]), 79, [Optional "lvm2"],
2197    [InitEmpty, Always, TestOutputListOfDevices (
2198       [["part_disk"; "/dev/sda"; "mbr"];
2199        ["pvcreate"; "/dev/sda1"];
2200        ["vgcreate"; "VG"; "/dev/sda1"];
2201        ["lvcreate"; "LV1"; "VG"; "50"];
2202        ["lvcreate"; "LV2"; "VG"; "50"];
2203        ["vgremove"; "VG"];
2204        ["pvremove"; "/dev/sda1"];
2205        ["lvs"]], []);
2206     InitEmpty, Always, TestOutputListOfDevices (
2207       [["part_disk"; "/dev/sda"; "mbr"];
2208        ["pvcreate"; "/dev/sda1"];
2209        ["vgcreate"; "VG"; "/dev/sda1"];
2210        ["lvcreate"; "LV1"; "VG"; "50"];
2211        ["lvcreate"; "LV2"; "VG"; "50"];
2212        ["vgremove"; "VG"];
2213        ["pvremove"; "/dev/sda1"];
2214        ["vgs"]], []);
2215     InitEmpty, Always, TestOutputListOfDevices (
2216       [["part_disk"; "/dev/sda"; "mbr"];
2217        ["pvcreate"; "/dev/sda1"];
2218        ["vgcreate"; "VG"; "/dev/sda1"];
2219        ["lvcreate"; "LV1"; "VG"; "50"];
2220        ["lvcreate"; "LV2"; "VG"; "50"];
2221        ["vgremove"; "VG"];
2222        ["pvremove"; "/dev/sda1"];
2223        ["pvs"]], [])],
2224    "remove an LVM physical volume",
2225    "\
2226 This wipes a physical volume C<device> so that LVM will no longer
2227 recognise it.
2228
2229 The implementation uses the C<pvremove> command which refuses to
2230 wipe physical volumes that contain any volume groups, so you have
2231 to remove those first.");
2232
2233   ("set_e2label", (RErr, [Device "device"; String "label"]), 80, [],
2234    [InitBasicFS, Always, TestOutput (
2235       [["set_e2label"; "/dev/sda1"; "testlabel"];
2236        ["get_e2label"; "/dev/sda1"]], "testlabel")],
2237    "set the ext2/3/4 filesystem label",
2238    "\
2239 This sets the ext2/3/4 filesystem label of the filesystem on
2240 C<device> to C<label>.  Filesystem labels are limited to
2241 16 characters.
2242
2243 You can use either C<guestfs_tune2fs_l> or C<guestfs_get_e2label>
2244 to return the existing label on a filesystem.");
2245
2246   ("get_e2label", (RString "label", [Device "device"]), 81, [DeprecatedBy "vfs_label"],
2247    [],
2248    "get the ext2/3/4 filesystem label",
2249    "\
2250 This returns the ext2/3/4 filesystem label of the filesystem on
2251 C<device>.");
2252
2253   ("set_e2uuid", (RErr, [Device "device"; String "uuid"]), 82, [],
2254    (let uuid = uuidgen () in
2255     [InitBasicFS, Always, TestOutput (
2256        [["set_e2uuid"; "/dev/sda1"; uuid];
2257         ["get_e2uuid"; "/dev/sda1"]], uuid);
2258      InitBasicFS, Always, TestOutput (
2259        [["set_e2uuid"; "/dev/sda1"; "clear"];
2260         ["get_e2uuid"; "/dev/sda1"]], "");
2261      (* We can't predict what UUIDs will be, so just check the commands run. *)
2262      InitBasicFS, Always, TestRun (
2263        [["set_e2uuid"; "/dev/sda1"; "random"]]);
2264      InitBasicFS, Always, TestRun (
2265        [["set_e2uuid"; "/dev/sda1"; "time"]])]),
2266    "set the ext2/3/4 filesystem UUID",
2267    "\
2268 This sets the ext2/3/4 filesystem UUID of the filesystem on
2269 C<device> to C<uuid>.  The format of the UUID and alternatives
2270 such as C<clear>, C<random> and C<time> are described in the
2271 L<tune2fs(8)> manpage.
2272
2273 You can use either C<guestfs_tune2fs_l> or C<guestfs_get_e2uuid>
2274 to return the existing UUID of a filesystem.");
2275
2276   ("get_e2uuid", (RString "uuid", [Device "device"]), 83, [DeprecatedBy "vfs_uuid"],
2277    (* Regression test for RHBZ#597112. *)
2278    (let uuid = uuidgen () in
2279     [InitBasicFS, Always, TestOutput (
2280        [["mke2journal"; "1024"; "/dev/sdb"];
2281         ["set_e2uuid"; "/dev/sdb"; uuid];
2282         ["get_e2uuid"; "/dev/sdb"]], uuid)]),
2283    "get the ext2/3/4 filesystem UUID",
2284    "\
2285 This returns the ext2/3/4 filesystem UUID of the filesystem on
2286 C<device>.");
2287
2288   ("fsck", (RInt "status", [String "fstype"; Device "device"]), 84, [FishOutput FishOutputHexadecimal],
2289    [InitBasicFS, Always, TestOutputInt (
2290       [["umount"; "/dev/sda1"];
2291        ["fsck"; "ext2"; "/dev/sda1"]], 0);
2292     InitBasicFS, Always, TestOutputInt (
2293       [["umount"; "/dev/sda1"];
2294        ["zero"; "/dev/sda1"];
2295        ["fsck"; "ext2"; "/dev/sda1"]], 8)],
2296    "run the filesystem checker",
2297    "\
2298 This runs the filesystem checker (fsck) on C<device> which
2299 should have filesystem type C<fstype>.
2300
2301 The returned integer is the status.  See L<fsck(8)> for the
2302 list of status codes from C<fsck>.
2303
2304 Notes:
2305
2306 =over 4
2307
2308 =item *
2309
2310 Multiple status codes can be summed together.
2311
2312 =item *
2313
2314 A non-zero return code can mean \"success\", for example if
2315 errors have been corrected on the filesystem.
2316
2317 =item *
2318
2319 Checking or repairing NTFS volumes is not supported
2320 (by linux-ntfs).
2321
2322 =back
2323
2324 This command is entirely equivalent to running C<fsck -a -t fstype device>.");
2325
2326   ("zero", (RErr, [Device "device"]), 85, [],
2327    [InitBasicFS, Always, TestOutput (
2328       [["umount"; "/dev/sda1"];
2329        ["zero"; "/dev/sda1"];
2330        ["file"; "/dev/sda1"]], "data")],
2331    "write zeroes to the device",
2332    "\
2333 This command writes zeroes over the first few blocks of C<device>.
2334
2335 How many blocks are zeroed isn't specified (but it's I<not> enough
2336 to securely wipe the device).  It should be sufficient to remove
2337 any partition tables, filesystem superblocks and so on.
2338
2339 See also: C<guestfs_zero_device>, C<guestfs_scrub_device>.");
2340
2341   ("grub_install", (RErr, [Pathname "root"; Device "device"]), 86, [],
2342    (* See:
2343     * https://bugzilla.redhat.com/show_bug.cgi?id=484986
2344     * https://bugzilla.redhat.com/show_bug.cgi?id=479760
2345     *)
2346    [InitBasicFS, Always, TestOutputTrue (
2347       [["mkdir_p"; "/boot/grub"];
2348        ["write"; "/boot/grub/device.map"; "(hd0) /dev/vda"];
2349        ["grub_install"; "/"; "/dev/vda"];
2350        ["is_dir"; "/boot"]])],
2351    "install GRUB",
2352    "\
2353 This command installs GRUB (the Grand Unified Bootloader) on
2354 C<device>, with the root directory being C<root>.
2355
2356 Note: If grub-install reports the error
2357 \"No suitable drive was found in the generated device map.\"
2358 it may be that you need to create a C</boot/grub/device.map>
2359 file first that contains the mapping between grub device names
2360 and Linux device names.  It is usually sufficient to create
2361 a file containing:
2362
2363  (hd0) /dev/vda
2364
2365 replacing C</dev/vda> with the name of the installation device.");
2366
2367   ("cp", (RErr, [Pathname "src"; Pathname "dest"]), 87, [],
2368    [InitBasicFS, Always, TestOutput (
2369       [["write"; "/old"; "file content"];
2370        ["cp"; "/old"; "/new"];
2371        ["cat"; "/new"]], "file content");
2372     InitBasicFS, Always, TestOutputTrue (
2373       [["write"; "/old"; "file content"];
2374        ["cp"; "/old"; "/new"];
2375        ["is_file"; "/old"]]);
2376     InitBasicFS, Always, TestOutput (
2377       [["write"; "/old"; "file content"];
2378        ["mkdir"; "/dir"];
2379        ["cp"; "/old"; "/dir/new"];
2380        ["cat"; "/dir/new"]], "file content")],
2381    "copy a file",
2382    "\
2383 This copies a file from C<src> to C<dest> where C<dest> is
2384 either a destination filename or destination directory.");
2385
2386   ("cp_a", (RErr, [Pathname "src"; Pathname "dest"]), 88, [],
2387    [InitBasicFS, Always, TestOutput (
2388       [["mkdir"; "/olddir"];
2389        ["mkdir"; "/newdir"];
2390        ["write"; "/olddir/file"; "file content"];
2391        ["cp_a"; "/olddir"; "/newdir"];
2392        ["cat"; "/newdir/olddir/file"]], "file content")],
2393    "copy a file or directory recursively",
2394    "\
2395 This copies a file or directory from C<src> to C<dest>
2396 recursively using the C<cp -a> command.");
2397
2398   ("mv", (RErr, [Pathname "src"; Pathname "dest"]), 89, [],
2399    [InitBasicFS, Always, TestOutput (
2400       [["write"; "/old"; "file content"];
2401        ["mv"; "/old"; "/new"];
2402        ["cat"; "/new"]], "file content");
2403     InitBasicFS, Always, TestOutputFalse (
2404       [["write"; "/old"; "file content"];
2405        ["mv"; "/old"; "/new"];
2406        ["is_file"; "/old"]])],
2407    "move a file",
2408    "\
2409 This moves a file from C<src> to C<dest> where C<dest> is
2410 either a destination filename or destination directory.");
2411
2412   ("drop_caches", (RErr, [Int "whattodrop"]), 90, [],
2413    [InitEmpty, Always, TestRun (
2414       [["drop_caches"; "3"]])],
2415    "drop kernel page cache, dentries and inodes",
2416    "\
2417 This instructs the guest kernel to drop its page cache,
2418 and/or dentries and inode caches.  The parameter C<whattodrop>
2419 tells the kernel what precisely to drop, see
2420 L<http://linux-mm.org/Drop_Caches>
2421
2422 Setting C<whattodrop> to 3 should drop everything.
2423
2424 This automatically calls L<sync(2)> before the operation,
2425 so that the maximum guest memory is freed.");
2426
2427   ("dmesg", (RString "kmsgs", []), 91, [],
2428    [InitEmpty, Always, TestRun (
2429       [["dmesg"]])],
2430    "return kernel messages",
2431    "\
2432 This returns the kernel messages (C<dmesg> output) from
2433 the guest kernel.  This is sometimes useful for extended
2434 debugging of problems.
2435
2436 Another way to get the same information is to enable
2437 verbose messages with C<guestfs_set_verbose> or by setting
2438 the environment variable C<LIBGUESTFS_DEBUG=1> before
2439 running the program.");
2440
2441   ("ping_daemon", (RErr, []), 92, [],
2442    [InitEmpty, Always, TestRun (
2443       [["ping_daemon"]])],
2444    "ping the guest daemon",
2445    "\
2446 This is a test probe into the guestfs daemon running inside
2447 the qemu subprocess.  Calling this function checks that the
2448 daemon responds to the ping message, without affecting the daemon
2449 or attached block device(s) in any other way.");
2450
2451   ("equal", (RBool "equality", [Pathname "file1"; Pathname "file2"]), 93, [],
2452    [InitBasicFS, Always, TestOutputTrue (
2453       [["write"; "/file1"; "contents of a file"];
2454        ["cp"; "/file1"; "/file2"];
2455        ["equal"; "/file1"; "/file2"]]);
2456     InitBasicFS, Always, TestOutputFalse (
2457       [["write"; "/file1"; "contents of a file"];
2458        ["write"; "/file2"; "contents of another file"];
2459        ["equal"; "/file1"; "/file2"]]);
2460     InitBasicFS, Always, TestLastFail (
2461       [["equal"; "/file1"; "/file2"]])],
2462    "test if two files have equal contents",
2463    "\
2464 This compares the two files C<file1> and C<file2> and returns
2465 true if their content is exactly equal, or false otherwise.
2466
2467 The external L<cmp(1)> program is used for the comparison.");
2468
2469   ("strings", (RStringList "stringsout", [Pathname "path"]), 94, [ProtocolLimitWarning],
2470    [InitISOFS, Always, TestOutputList (
2471       [["strings"; "/known-5"]], ["abcdefghi"; "jklmnopqr"]);
2472     InitISOFS, Always, TestOutputList (
2473       [["strings"; "/empty"]], []);
2474     (* Test for RHBZ#579608, absolute symbolic links. *)
2475     InitISOFS, Always, TestRun (
2476       [["strings"; "/abssymlink"]])],
2477    "print the printable strings in a file",
2478    "\
2479 This runs the L<strings(1)> command on a file and returns
2480 the list of printable strings found.");
2481
2482   ("strings_e", (RStringList "stringsout", [String "encoding"; Pathname "path"]), 95, [ProtocolLimitWarning],
2483    [InitISOFS, Always, TestOutputList (
2484       [["strings_e"; "b"; "/known-5"]], []);
2485     InitBasicFS, Always, TestOutputList (
2486       [["write"; "/new"; "\000h\000e\000l\000l\000o\000\n\000w\000o\000r\000l\000d\000\n"];
2487        ["strings_e"; "b"; "/new"]], ["hello"; "world"])],
2488    "print the printable strings in a file",
2489    "\
2490 This is like the C<guestfs_strings> command, but allows you to
2491 specify the encoding of strings that are looked for in
2492 the source file C<path>.
2493
2494 Allowed encodings are:
2495
2496 =over 4
2497
2498 =item s
2499
2500 Single 7-bit-byte characters like ASCII and the ASCII-compatible
2501 parts of ISO-8859-X (this is what C<guestfs_strings> uses).
2502
2503 =item S
2504
2505 Single 8-bit-byte characters.
2506
2507 =item b
2508
2509 16-bit big endian strings such as those encoded in
2510 UTF-16BE or UCS-2BE.
2511
2512 =item l (lower case letter L)
2513
2514 16-bit little endian such as UTF-16LE and UCS-2LE.
2515 This is useful for examining binaries in Windows guests.
2516
2517 =item B
2518
2519 32-bit big endian such as UCS-4BE.
2520
2521 =item L
2522
2523 32-bit little endian such as UCS-4LE.
2524
2525 =back
2526
2527 The returned strings are transcoded to UTF-8.");
2528
2529   ("hexdump", (RString "dump", [Pathname "path"]), 96, [ProtocolLimitWarning],
2530    [InitISOFS, Always, TestOutput (
2531       [["hexdump"; "/known-4"]], "00000000  61 62 63 0a 64 65 66 0a  67 68 69                 |abc.def.ghi|\n0000000b\n");
2532     (* Test for RHBZ#501888c2 regression which caused large hexdump
2533      * commands to segfault.
2534      *)
2535     InitISOFS, Always, TestRun (
2536       [["hexdump"; "/100krandom"]]);
2537     (* Test for RHBZ#579608, absolute symbolic links. *)
2538     InitISOFS, Always, TestRun (
2539       [["hexdump"; "/abssymlink"]])],
2540    "dump a file in hexadecimal",
2541    "\
2542 This runs C<hexdump -C> on the given C<path>.  The result is
2543 the human-readable, canonical hex dump of the file.");
2544
2545   ("zerofree", (RErr, [Device "device"]), 97, [Optional "zerofree"],
2546    [InitNone, Always, TestOutput (
2547       [["part_disk"; "/dev/sda"; "mbr"];
2548        ["mkfs"; "ext3"; "/dev/sda1"];
2549        ["mount_options"; ""; "/dev/sda1"; "/"];
2550        ["write"; "/new"; "test file"];
2551        ["umount"; "/dev/sda1"];
2552        ["zerofree"; "/dev/sda1"];
2553        ["mount_options"; ""; "/dev/sda1"; "/"];
2554        ["cat"; "/new"]], "test file")],
2555    "zero unused inodes and disk blocks on ext2/3 filesystem",
2556    "\
2557 This runs the I<zerofree> program on C<device>.  This program
2558 claims to zero unused inodes and disk blocks on an ext2/3
2559 filesystem, thus making it possible to compress the filesystem
2560 more effectively.
2561
2562 You should B<not> run this program if the filesystem is
2563 mounted.
2564
2565 It is possible that using this program can damage the filesystem
2566 or data on the filesystem.");
2567
2568   ("pvresize", (RErr, [Device "device"]), 98, [Optional "lvm2"],
2569    [],
2570    "resize an LVM physical volume",
2571    "\
2572 This resizes (expands or shrinks) an existing LVM physical
2573 volume to match the new size of the underlying device.");
2574
2575   ("sfdisk_N", (RErr, [Device "device"; Int "partnum";
2576                        Int "cyls"; Int "heads"; Int "sectors";
2577                        String "line"]), 99, [DangerWillRobinson],
2578    [],
2579    "modify a single partition on a block device",
2580    "\
2581 This runs L<sfdisk(8)> option to modify just the single
2582 partition C<n> (note: C<n> counts from 1).
2583
2584 For other parameters, see C<guestfs_sfdisk>.  You should usually
2585 pass C<0> for the cyls/heads/sectors parameters.
2586
2587 See also: C<guestfs_part_add>");
2588
2589   ("sfdisk_l", (RString "partitions", [Device "device"]), 100, [],
2590    [],
2591    "display the partition table",
2592    "\
2593 This displays the partition table on C<device>, in the
2594 human-readable output of the L<sfdisk(8)> command.  It is
2595 not intended to be parsed.
2596
2597 See also: C<guestfs_part_list>");
2598
2599   ("sfdisk_kernel_geometry", (RString "partitions", [Device "device"]), 101, [],
2600    [],
2601    "display the kernel geometry",
2602    "\
2603 This displays the kernel's idea of the geometry of C<device>.
2604
2605 The result is in human-readable format, and not designed to
2606 be parsed.");
2607
2608   ("sfdisk_disk_geometry", (RString "partitions", [Device "device"]), 102, [],
2609    [],
2610    "display the disk geometry from the partition table",
2611    "\
2612 This displays the disk geometry of C<device> read from the
2613 partition table.  Especially in the case where the underlying
2614 block device has been resized, this can be different from the
2615 kernel's idea of the geometry (see C<guestfs_sfdisk_kernel_geometry>).
2616
2617 The result is in human-readable format, and not designed to
2618 be parsed.");
2619
2620   ("vg_activate_all", (RErr, [Bool "activate"]), 103, [Optional "lvm2"],
2621    [],
2622    "activate or deactivate all volume groups",
2623    "\
2624 This command activates or (if C<activate> is false) deactivates
2625 all logical volumes in all volume groups.
2626 If activated, then they are made known to the
2627 kernel, ie. they appear as C</dev/mapper> devices.  If deactivated,
2628 then those devices disappear.
2629
2630 This command is the same as running C<vgchange -a y|n>");
2631
2632   ("vg_activate", (RErr, [Bool "activate"; StringList "volgroups"]), 104, [Optional "lvm2"],
2633    [],
2634    "activate or deactivate some volume groups",
2635    "\
2636 This command activates or (if C<activate> is false) deactivates
2637 all logical volumes in the listed volume groups C<volgroups>.
2638 If activated, then they are made known to the
2639 kernel, ie. they appear as C</dev/mapper> devices.  If deactivated,
2640 then those devices disappear.
2641
2642 This command is the same as running C<vgchange -a y|n volgroups...>
2643
2644 Note that if C<volgroups> is an empty list then B<all> volume groups
2645 are activated or deactivated.");
2646
2647   ("lvresize", (RErr, [Device "device"; Int "mbytes"]), 105, [Optional "lvm2"],
2648    [InitNone, Always, TestOutput (
2649       [["part_disk"; "/dev/sda"; "mbr"];
2650        ["pvcreate"; "/dev/sda1"];
2651        ["vgcreate"; "VG"; "/dev/sda1"];
2652        ["lvcreate"; "LV"; "VG"; "10"];
2653        ["mkfs"; "ext2"; "/dev/VG/LV"];
2654        ["mount_options"; ""; "/dev/VG/LV"; "/"];
2655        ["write"; "/new"; "test content"];
2656        ["umount"; "/"];
2657        ["lvresize"; "/dev/VG/LV"; "20"];
2658        ["e2fsck_f"; "/dev/VG/LV"];
2659        ["resize2fs"; "/dev/VG/LV"];
2660        ["mount_options"; ""; "/dev/VG/LV"; "/"];
2661        ["cat"; "/new"]], "test content");
2662     InitNone, Always, TestRun (
2663       (* Make an LV smaller to test RHBZ#587484. *)
2664       [["part_disk"; "/dev/sda"; "mbr"];
2665        ["pvcreate"; "/dev/sda1"];
2666        ["vgcreate"; "VG"; "/dev/sda1"];
2667        ["lvcreate"; "LV"; "VG"; "20"];
2668        ["lvresize"; "/dev/VG/LV"; "10"]])],
2669    "resize an LVM logical volume",
2670    "\
2671 This resizes (expands or shrinks) an existing LVM logical
2672 volume to C<mbytes>.  When reducing, data in the reduced part
2673 is lost.");
2674
2675   ("resize2fs", (RErr, [Device "device"]), 106, [],
2676    [], (* lvresize tests this *)
2677    "resize an ext2, ext3 or ext4 filesystem",
2678    "\
2679 This resizes an ext2, ext3 or ext4 filesystem to match the size of
2680 the underlying device.
2681
2682 I<Note:> It is sometimes required that you run C<guestfs_e2fsck_f>
2683 on the C<device> before calling this command.  For unknown reasons
2684 C<resize2fs> sometimes gives an error about this and sometimes not.
2685 In any case, it is always safe to call C<guestfs_e2fsck_f> before
2686 calling this function.");
2687
2688   ("find", (RStringList "names", [Pathname "directory"]), 107, [ProtocolLimitWarning],
2689    [InitBasicFS, Always, TestOutputList (
2690       [["find"; "/"]], ["lost+found"]);
2691     InitBasicFS, Always, TestOutputList (
2692       [["touch"; "/a"];
2693        ["mkdir"; "/b"];
2694        ["touch"; "/b/c"];
2695        ["find"; "/"]], ["a"; "b"; "b/c"; "lost+found"]);
2696     InitBasicFS, Always, TestOutputList (
2697       [["mkdir_p"; "/a/b/c"];
2698        ["touch"; "/a/b/c/d"];
2699        ["find"; "/a/b/"]], ["c"; "c/d"])],
2700    "find all files and directories",
2701    "\
2702 This command lists out all files and directories, recursively,
2703 starting at C<directory>.  It is essentially equivalent to
2704 running the shell command C<find directory -print> but some
2705 post-processing happens on the output, described below.
2706
2707 This returns a list of strings I<without any prefix>.  Thus
2708 if the directory structure was:
2709
2710  /tmp/a
2711  /tmp/b
2712  /tmp/c/d
2713
2714 then the returned list from C<guestfs_find> C</tmp> would be
2715 4 elements:
2716
2717  a
2718  b
2719  c
2720  c/d
2721
2722 If C<directory> is not a directory, then this command returns
2723 an error.
2724
2725 The returned list is sorted.
2726
2727 See also C<guestfs_find0>.");
2728
2729   ("e2fsck_f", (RErr, [Device "device"]), 108, [],
2730    [], (* lvresize tests this *)
2731    "check an ext2/ext3 filesystem",
2732    "\
2733 This runs C<e2fsck -p -f device>, ie. runs the ext2/ext3
2734 filesystem checker on C<device>, noninteractively (C<-p>),
2735 even if the filesystem appears to be clean (C<-f>).
2736
2737 This command is only needed because of C<guestfs_resize2fs>
2738 (q.v.).  Normally you should use C<guestfs_fsck>.");
2739
2740   ("sleep", (RErr, [Int "secs"]), 109, [],
2741    [InitNone, Always, TestRun (
2742       [["sleep"; "1"]])],
2743    "sleep for some seconds",
2744    "\
2745 Sleep for C<secs> seconds.");
2746
2747   ("ntfs_3g_probe", (RInt "status", [Bool "rw"; Device "device"]), 110, [Optional "ntfs3g"],
2748    [InitNone, Always, TestOutputInt (
2749       [["part_disk"; "/dev/sda"; "mbr"];
2750        ["mkfs"; "ntfs"; "/dev/sda1"];
2751        ["ntfs_3g_probe"; "true"; "/dev/sda1"]], 0);
2752     InitNone, Always, TestOutputInt (
2753       [["part_disk"; "/dev/sda"; "mbr"];
2754        ["mkfs"; "ext2"; "/dev/sda1"];
2755        ["ntfs_3g_probe"; "true"; "/dev/sda1"]], 12)],
2756    "probe NTFS volume",
2757    "\
2758 This command runs the L<ntfs-3g.probe(8)> command which probes
2759 an NTFS C<device> for mountability.  (Not all NTFS volumes can
2760 be mounted read-write, and some cannot be mounted at all).
2761
2762 C<rw> is a boolean flag.  Set it to true if you want to test
2763 if the volume can be mounted read-write.  Set it to false if
2764 you want to test if the volume can be mounted read-only.
2765
2766 The return value is an integer which C<0> if the operation
2767 would succeed, or some non-zero value documented in the
2768 L<ntfs-3g.probe(8)> manual page.");
2769
2770   ("sh", (RString "output", [String "command"]), 111, [],
2771    [], (* XXX needs tests *)
2772    "run a command via the shell",
2773    "\
2774 This call runs a command from the guest filesystem via the
2775 guest's C</bin/sh>.
2776
2777 This is like C<guestfs_command>, but passes the command to:
2778
2779  /bin/sh -c \"command\"
2780
2781 Depending on the guest's shell, this usually results in
2782 wildcards being expanded, shell expressions being interpolated
2783 and so on.
2784
2785 All the provisos about C<guestfs_command> apply to this call.");
2786
2787   ("sh_lines", (RStringList "lines", [String "command"]), 112, [],
2788    [], (* XXX needs tests *)
2789    "run a command via the shell returning lines",
2790    "\
2791 This is the same as C<guestfs_sh>, but splits the result
2792 into a list of lines.
2793
2794 See also: C<guestfs_command_lines>");
2795
2796   ("glob_expand", (RStringList "paths", [Pathname "pattern"]), 113, [],
2797    (* Use Pathname here, and hence ABS_PATH (pattern,... in generated
2798     * code in stubs.c, since all valid glob patterns must start with "/".
2799     * There is no concept of "cwd" in libguestfs, hence no "."-relative names.
2800     *)
2801    [InitBasicFS, Always, TestOutputList (
2802       [["mkdir_p"; "/a/b/c"];
2803        ["touch"; "/a/b/c/d"];
2804        ["touch"; "/a/b/c/e"];
2805        ["glob_expand"; "/a/b/c/*"]], ["/a/b/c/d"; "/a/b/c/e"]);
2806     InitBasicFS, Always, TestOutputList (
2807       [["mkdir_p"; "/a/b/c"];
2808        ["touch"; "/a/b/c/d"];
2809        ["touch"; "/a/b/c/e"];
2810        ["glob_expand"; "/a/*/c/*"]], ["/a/b/c/d"; "/a/b/c/e"]);
2811     InitBasicFS, Always, TestOutputList (
2812       [["mkdir_p"; "/a/b/c"];
2813        ["touch"; "/a/b/c/d"];
2814        ["touch"; "/a/b/c/e"];
2815        ["glob_expand"; "/a/*/x/*"]], [])],
2816    "expand a wildcard path",
2817    "\
2818 This command searches for all the pathnames matching
2819 C<pattern> according to the wildcard expansion rules
2820 used by the shell.
2821
2822 If no paths match, then this returns an empty list
2823 (note: not an error).
2824
2825 It is just a wrapper around the C L<glob(3)> function
2826 with flags C<GLOB_MARK|GLOB_BRACE>.
2827 See that manual page for more details.");
2828
2829   ("scrub_device", (RErr, [Device "device"]), 114, [DangerWillRobinson; Optional "scrub"],
2830    [InitNone, Always, TestRun ( (* use /dev/sdc because it's smaller *)
2831       [["scrub_device"; "/dev/sdc"]])],
2832    "scrub (securely wipe) a device",
2833    "\
2834 This command writes patterns over C<device> to make data retrieval
2835 more difficult.
2836
2837 It is an interface to the L<scrub(1)> program.  See that
2838 manual page for more details.");
2839
2840   ("scrub_file", (RErr, [Pathname "file"]), 115, [Optional "scrub"],
2841    [InitBasicFS, Always, TestRun (
2842       [["write"; "/file"; "content"];
2843        ["scrub_file"; "/file"]])],
2844    "scrub (securely wipe) a file",
2845    "\
2846 This command writes patterns over a file to make data retrieval
2847 more difficult.
2848
2849 The file is I<removed> after scrubbing.
2850
2851 It is an interface to the L<scrub(1)> program.  See that
2852 manual page for more details.");
2853
2854   ("scrub_freespace", (RErr, [Pathname "dir"]), 116, [Optional "scrub"],
2855    [], (* XXX needs testing *)
2856    "scrub (securely wipe) free space",
2857    "\
2858 This command creates the directory C<dir> and then fills it
2859 with files until the filesystem is full, and scrubs the files
2860 as for C<guestfs_scrub_file>, and deletes them.
2861 The intention is to scrub any free space on the partition
2862 containing C<dir>.
2863
2864 It is an interface to the L<scrub(1)> program.  See that
2865 manual page for more details.");
2866
2867   ("mkdtemp", (RString "dir", [Pathname "template"]), 117, [],
2868    [InitBasicFS, Always, TestRun (
2869       [["mkdir"; "/tmp"];
2870        ["mkdtemp"; "/tmp/tmpXXXXXX"]])],
2871    "create a temporary directory",
2872    "\
2873 This command creates a temporary directory.  The
2874 C<template> parameter should be a full pathname for the
2875 temporary directory name with the final six characters being
2876 \"XXXXXX\".
2877
2878 For example: \"/tmp/myprogXXXXXX\" or \"/Temp/myprogXXXXXX\",
2879 the second one being suitable for Windows filesystems.
2880
2881 The name of the temporary directory that was created
2882 is returned.
2883
2884 The temporary directory is created with mode 0700
2885 and is owned by root.
2886
2887 The caller is responsible for deleting the temporary
2888 directory and its contents after use.
2889
2890 See also: L<mkdtemp(3)>");
2891
2892   ("wc_l", (RInt "lines", [Pathname "path"]), 118, [],
2893    [InitISOFS, Always, TestOutputInt (
2894       [["wc_l"; "/10klines"]], 10000);
2895     (* Test for RHBZ#579608, absolute symbolic links. *)
2896     InitISOFS, Always, TestOutputInt (
2897       [["wc_l"; "/abssymlink"]], 10000)],
2898    "count lines in a file",
2899    "\
2900 This command counts the lines in a file, using the
2901 C<wc -l> external command.");
2902
2903   ("wc_w", (RInt "words", [Pathname "path"]), 119, [],
2904    [InitISOFS, Always, TestOutputInt (
2905       [["wc_w"; "/10klines"]], 10000)],
2906    "count words in a file",
2907    "\
2908 This command counts the words in a file, using the
2909 C<wc -w> external command.");
2910
2911   ("wc_c", (RInt "chars", [Pathname "path"]), 120, [],
2912    [InitISOFS, Always, TestOutputInt (
2913       [["wc_c"; "/100kallspaces"]], 102400)],
2914    "count characters in a file",
2915    "\
2916 This command counts the characters in a file, using the
2917 C<wc -c> external command.");
2918
2919   ("head", (RStringList "lines", [Pathname "path"]), 121, [ProtocolLimitWarning],
2920    [InitISOFS, Always, TestOutputList (
2921       [["head"; "/10klines"]], ["0abcdefghijklmnopqrstuvwxyz";"1abcdefghijklmnopqrstuvwxyz";"2abcdefghijklmnopqrstuvwxyz";"3abcdefghijklmnopqrstuvwxyz";"4abcdefghijklmnopqrstuvwxyz";"5abcdefghijklmnopqrstuvwxyz";"6abcdefghijklmnopqrstuvwxyz";"7abcdefghijklmnopqrstuvwxyz";"8abcdefghijklmnopqrstuvwxyz";"9abcdefghijklmnopqrstuvwxyz"]);
2922     (* Test for RHBZ#579608, absolute symbolic links. *)
2923     InitISOFS, Always, TestOutputList (
2924       [["head"; "/abssymlink"]], ["0abcdefghijklmnopqrstuvwxyz";"1abcdefghijklmnopqrstuvwxyz";"2abcdefghijklmnopqrstuvwxyz";"3abcdefghijklmnopqrstuvwxyz";"4abcdefghijklmnopqrstuvwxyz";"5abcdefghijklmnopqrstuvwxyz";"6abcdefghijklmnopqrstuvwxyz";"7abcdefghijklmnopqrstuvwxyz";"8abcdefghijklmnopqrstuvwxyz";"9abcdefghijklmnopqrstuvwxyz"])],
2925    "return first 10 lines of a file",
2926    "\
2927 This command returns up to the first 10 lines of a file as
2928 a list of strings.");
2929
2930   ("head_n", (RStringList "lines", [Int "nrlines"; Pathname "path"]), 122, [ProtocolLimitWarning],
2931    [InitISOFS, Always, TestOutputList (
2932       [["head_n"; "3"; "/10klines"]], ["0abcdefghijklmnopqrstuvwxyz";"1abcdefghijklmnopqrstuvwxyz";"2abcdefghijklmnopqrstuvwxyz"]);
2933     InitISOFS, Always, TestOutputList (
2934       [["head_n"; "-9997"; "/10klines"]], ["0abcdefghijklmnopqrstuvwxyz";"1abcdefghijklmnopqrstuvwxyz";"2abcdefghijklmnopqrstuvwxyz"]);
2935     InitISOFS, Always, TestOutputList (
2936       [["head_n"; "0"; "/10klines"]], [])],
2937    "return first N lines of a file",
2938    "\
2939 If the parameter C<nrlines> is a positive number, this returns the first
2940 C<nrlines> lines of the file C<path>.
2941
2942 If the parameter C<nrlines> is a negative number, this returns lines
2943 from the file C<path>, excluding the last C<nrlines> lines.
2944
2945 If the parameter C<nrlines> is zero, this returns an empty list.");
2946
2947   ("tail", (RStringList "lines", [Pathname "path"]), 123, [ProtocolLimitWarning],
2948    [InitISOFS, Always, TestOutputList (
2949       [["tail"; "/10klines"]], ["9990abcdefghijklmnopqrstuvwxyz";"9991abcdefghijklmnopqrstuvwxyz";"9992abcdefghijklmnopqrstuvwxyz";"9993abcdefghijklmnopqrstuvwxyz";"9994abcdefghijklmnopqrstuvwxyz";"9995abcdefghijklmnopqrstuvwxyz";"9996abcdefghijklmnopqrstuvwxyz";"9997abcdefghijklmnopqrstuvwxyz";"9998abcdefghijklmnopqrstuvwxyz";"9999abcdefghijklmnopqrstuvwxyz"])],
2950    "return last 10 lines of a file",
2951    "\
2952 This command returns up to the last 10 lines of a file as
2953 a list of strings.");
2954
2955   ("tail_n", (RStringList "lines", [Int "nrlines"; Pathname "path"]), 124, [ProtocolLimitWarning],
2956    [InitISOFS, Always, TestOutputList (
2957       [["tail_n"; "3"; "/10klines"]], ["9997abcdefghijklmnopqrstuvwxyz";"9998abcdefghijklmnopqrstuvwxyz";"9999abcdefghijklmnopqrstuvwxyz"]);
2958     InitISOFS, Always, TestOutputList (
2959       [["tail_n"; "-9998"; "/10klines"]], ["9997abcdefghijklmnopqrstuvwxyz";"9998abcdefghijklmnopqrstuvwxyz";"9999abcdefghijklmnopqrstuvwxyz"]);
2960     InitISOFS, Always, TestOutputList (
2961       [["tail_n"; "0"; "/10klines"]], [])],
2962    "return last N lines of a file",
2963    "\
2964 If the parameter C<nrlines> is a positive number, this returns the last
2965 C<nrlines> lines of the file C<path>.
2966
2967 If the parameter C<nrlines> is a negative number, this returns lines
2968 from the file C<path>, starting with the C<-nrlines>th line.
2969
2970 If the parameter C<nrlines> is zero, this returns an empty list.");
2971
2972   ("df", (RString "output", []), 125, [],
2973    [], (* XXX Tricky to test because it depends on the exact format
2974         * of the 'df' command and other imponderables.
2975         *)
2976    "report file system disk space usage",
2977    "\
2978 This command runs the C<df> command to report disk space used.
2979
2980 This command is mostly useful for interactive sessions.  It
2981 is I<not> intended that you try to parse the output string.
2982 Use C<statvfs> from programs.");
2983
2984   ("df_h", (RString "output", []), 126, [],
2985    [], (* XXX Tricky to test because it depends on the exact format
2986         * of the 'df' command and other imponderables.
2987         *)
2988    "report file system disk space usage (human readable)",
2989    "\
2990 This command runs the C<df -h> command to report disk space used
2991 in human-readable format.
2992
2993 This command is mostly useful for interactive sessions.  It
2994 is I<not> intended that you try to parse the output string.
2995 Use C<statvfs> from programs.");
2996
2997   ("du", (RInt64 "sizekb", [Pathname "path"]), 127, [],
2998    [InitISOFS, Always, TestOutputInt (
2999       [["du"; "/directory"]], 2 (* ISO fs blocksize is 2K *))],
3000    "estimate file space usage",
3001    "\
3002 This command runs the C<du -s> command to estimate file space
3003 usage for C<path>.
3004
3005 C<path> can be a file or a directory.  If C<path> is a directory
3006 then the estimate includes the contents of the directory and all
3007 subdirectories (recursively).
3008
3009 The result is the estimated size in I<kilobytes>
3010 (ie. units of 1024 bytes).");
3011
3012   ("initrd_list", (RStringList "filenames", [Pathname "path"]), 128, [],
3013    [InitISOFS, Always, TestOutputList (
3014       [["initrd_list"; "/initrd"]], ["empty";"known-1";"known-2";"known-3";"known-4"; "known-5"])],
3015    "list files in an initrd",
3016    "\
3017 This command lists out files contained in an initrd.
3018
3019 The files are listed without any initial C</> character.  The
3020 files are listed in the order they appear (not necessarily
3021 alphabetical).  Directory names are listed as separate items.
3022
3023 Old Linux kernels (2.4 and earlier) used a compressed ext2
3024 filesystem as initrd.  We I<only> support the newer initramfs
3025 format (compressed cpio files).");
3026
3027   ("mount_loop", (RErr, [Pathname "file"; Pathname "mountpoint"]), 129, [],
3028    [],
3029    "mount a file using the loop device",
3030    "\
3031 This command lets you mount C<file> (a filesystem image
3032 in a file) on a mount point.  It is entirely equivalent to
3033 the command C<mount -o loop file mountpoint>.");
3034
3035   ("mkswap", (RErr, [Device "device"]), 130, [],
3036    [InitEmpty, Always, TestRun (
3037       [["part_disk"; "/dev/sda"; "mbr"];
3038        ["mkswap"; "/dev/sda1"]])],
3039    "create a swap partition",
3040    "\
3041 Create a swap partition on C<device>.");
3042
3043   ("mkswap_L", (RErr, [String "label"; Device "device"]), 131, [],
3044    [InitEmpty, Always, TestRun (
3045       [["part_disk"; "/dev/sda"; "mbr"];
3046        ["mkswap_L"; "hello"; "/dev/sda1"]])],
3047    "create a swap partition with a label",
3048    "\
3049 Create a swap partition on C<device> with label C<label>.
3050
3051 Note that you cannot attach a swap label to a block device
3052 (eg. C</dev/sda>), just to a partition.  This appears to be
3053 a limitation of the kernel or swap tools.");
3054
3055   ("mkswap_U", (RErr, [String "uuid"; Device "device"]), 132, [Optional "linuxfsuuid"],
3056    (let uuid = uuidgen () in
3057     [InitEmpty, Always, TestRun (
3058        [["part_disk"; "/dev/sda"; "mbr"];
3059         ["mkswap_U"; uuid; "/dev/sda1"]])]),
3060    "create a swap partition with an explicit UUID",
3061    "\
3062 Create a swap partition on C<device> with UUID C<uuid>.");
3063
3064   ("mknod", (RErr, [Int "mode"; Int "devmajor"; Int "devminor"; Pathname "path"]), 133, [Optional "mknod"],
3065    [InitBasicFS, Always, TestOutputStruct (
3066       [["mknod"; "0o10777"; "0"; "0"; "/node"];
3067        (* NB: default umask 022 means 0777 -> 0755 in these tests *)
3068        ["stat"; "/node"]], [CompareWithInt ("mode", 0o10755)]);
3069     InitBasicFS, Always, TestOutputStruct (
3070       [["mknod"; "0o60777"; "66"; "99"; "/node"];
3071        ["stat"; "/node"]], [CompareWithInt ("mode", 0o60755)])],
3072    "make block, character or FIFO devices",
3073    "\
3074 This call creates block or character special devices, or
3075 named pipes (FIFOs).
3076
3077 The C<mode> parameter should be the mode, using the standard
3078 constants.  C<devmajor> and C<devminor> are the
3079 device major and minor numbers, only used when creating block
3080 and character special devices.
3081
3082 Note that, just like L<mknod(2)>, the mode must be bitwise
3083 OR'd with S_IFBLK, S_IFCHR, S_IFIFO or S_IFSOCK (otherwise this call
3084 just creates a regular file).  These constants are
3085 available in the standard Linux header files, or you can use
3086 C<guestfs_mknod_b>, C<guestfs_mknod_c> or C<guestfs_mkfifo>
3087 which are wrappers around this command which bitwise OR
3088 in the appropriate constant for you.
3089
3090 The mode actually set is affected by the umask.");
3091
3092   ("mkfifo", (RErr, [Int "mode"; Pathname "path"]), 134, [Optional "mknod"],
3093    [InitBasicFS, Always, TestOutputStruct (
3094       [["mkfifo"; "0o777"; "/node"];
3095        ["stat"; "/node"]], [CompareWithInt ("mode", 0o10755)])],
3096    "make FIFO (named pipe)",
3097    "\
3098 This call creates a FIFO (named pipe) called C<path> with
3099 mode C<mode>.  It is just a convenient wrapper around
3100 C<guestfs_mknod>.
3101
3102 The mode actually set is affected by the umask.");
3103
3104   ("mknod_b", (RErr, [Int "mode"; Int "devmajor"; Int "devminor"; Pathname "path"]), 135, [Optional "mknod"],
3105    [InitBasicFS, Always, TestOutputStruct (
3106       [["mknod_b"; "0o777"; "99"; "66"; "/node"];
3107        ["stat"; "/node"]], [CompareWithInt ("mode", 0o60755)])],
3108    "make block device node",
3109    "\
3110 This call creates a block device node called C<path> with
3111 mode C<mode> and device major/minor C<devmajor> and C<devminor>.
3112 It is just a convenient wrapper around C<guestfs_mknod>.
3113
3114 The mode actually set is affected by the umask.");
3115
3116   ("mknod_c", (RErr, [Int "mode"; Int "devmajor"; Int "devminor"; Pathname "path"]), 136, [Optional "mknod"],
3117    [InitBasicFS, Always, TestOutputStruct (
3118       [["mknod_c"; "0o777"; "99"; "66"; "/node"];
3119        ["stat"; "/node"]], [CompareWithInt ("mode", 0o20755)])],
3120    "make char device node",
3121    "\
3122 This call creates a char device node called C<path> with
3123 mode C<mode> and device major/minor C<devmajor> and C<devminor>.
3124 It is just a convenient wrapper around C<guestfs_mknod>.
3125
3126 The mode actually set is affected by the umask.");
3127
3128   ("umask", (RInt "oldmask", [Int "mask"]), 137, [FishOutput FishOutputOctal],
3129    [InitEmpty, Always, TestOutputInt (
3130       [["umask"; "0o22"]], 0o22)],
3131    "set file mode creation mask (umask)",
3132    "\
3133 This function sets the mask used for creating new files and
3134 device nodes to C<mask & 0777>.
3135
3136 Typical umask values would be C<022> which creates new files
3137 with permissions like \"-rw-r--r--\" or \"-rwxr-xr-x\", and
3138 C<002> which creates new files with permissions like
3139 \"-rw-rw-r--\" or \"-rwxrwxr-x\".
3140
3141 The default umask is C<022>.  This is important because it
3142 means that directories and device nodes will be created with
3143 C<0644> or C<0755> mode even if you specify C<0777>.
3144
3145 See also C<guestfs_get_umask>,
3146 L<umask(2)>, C<guestfs_mknod>, C<guestfs_mkdir>.
3147
3148 This call returns the previous umask.");
3149
3150   ("readdir", (RStructList ("entries", "dirent"), [Pathname "dir"]), 138, [],
3151    [],
3152    "read directories entries",
3153    "\
3154 This returns the list of directory entries in directory C<dir>.
3155
3156 All entries in the directory are returned, including C<.> and
3157 C<..>.  The entries are I<not> sorted, but returned in the same
3158 order as the underlying filesystem.
3159
3160 Also this call returns basic file type information about each
3161 file.  The C<ftyp> field will contain one of the following characters:
3162
3163 =over 4
3164
3165 =item 'b'
3166
3167 Block special
3168
3169 =item 'c'
3170
3171 Char special
3172
3173 =item 'd'
3174
3175 Directory
3176
3177 =item 'f'
3178
3179 FIFO (named pipe)
3180
3181 =item 'l'
3182
3183 Symbolic link
3184
3185 =item 'r'
3186
3187 Regular file
3188
3189 =item 's'
3190
3191 Socket
3192
3193 =item 'u'
3194
3195 Unknown file type
3196
3197 =item '?'
3198
3199 The L<readdir(3)> call returned a C<d_type> field with an
3200 unexpected value
3201
3202 =back
3203
3204 This function is primarily intended for use by programs.  To
3205 get a simple list of names, use C<guestfs_ls>.  To get a printable
3206 directory for human consumption, use C<guestfs_ll>.");
3207
3208   ("sfdiskM", (RErr, [Device "device"; StringList "lines"]), 139, [DangerWillRobinson],
3209    [],
3210    "create partitions on a block device",
3211    "\
3212 This is a simplified interface to the C<guestfs_sfdisk>
3213 command, where partition sizes are specified in megabytes
3214 only (rounded to the nearest cylinder) and you don't need
3215 to specify the cyls, heads and sectors parameters which
3216 were rarely if ever used anyway.
3217
3218 See also: C<guestfs_sfdisk>, the L<sfdisk(8)> manpage
3219 and C<guestfs_part_disk>");
3220
3221   ("zfile", (RString "description", [String "meth"; Pathname "path"]), 140, [DeprecatedBy "file"],
3222    [],
3223    "determine file type inside a compressed file",
3224    "\
3225 This command runs C<file> after first decompressing C<path>
3226 using C<method>.
3227
3228 C<method> must be one of C<gzip>, C<compress> or C<bzip2>.
3229
3230 Since 1.0.63, use C<guestfs_file> instead which can now
3231 process compressed files.");
3232
3233   ("getxattrs", (RStructList ("xattrs", "xattr"), [Pathname "path"]), 141, [Optional "linuxxattrs"],
3234    [],
3235    "list extended attributes of a file or directory",
3236    "\
3237 This call lists the extended attributes of the file or directory
3238 C<path>.
3239
3240 At the system call level, this is a combination of the
3241 L<listxattr(2)> and L<getxattr(2)> calls.
3242
3243 See also: C<guestfs_lgetxattrs>, L<attr(5)>.");
3244
3245   ("lgetxattrs", (RStructList ("xattrs", "xattr"), [Pathname "path"]), 142, [Optional "linuxxattrs"],
3246    [],
3247    "list extended attributes of a file or directory",
3248    "\
3249 This is the same as C<guestfs_getxattrs>, but if C<path>
3250 is a symbolic link, then it returns the extended attributes
3251 of the link itself.");
3252
3253   ("setxattr", (RErr, [String "xattr";
3254                        String "val"; Int "vallen"; (* will be BufferIn *)
3255                        Pathname "path"]), 143, [Optional "linuxxattrs"],
3256    [],
3257    "set extended attribute of a file or directory",
3258    "\
3259 This call sets the extended attribute named C<xattr>
3260 of the file C<path> to the value C<val> (of length C<vallen>).
3261 The value is arbitrary 8 bit data.
3262
3263 See also: C<guestfs_lsetxattr>, L<attr(5)>.");
3264
3265   ("lsetxattr", (RErr, [String "xattr";
3266                         String "val"; Int "vallen"; (* will be BufferIn *)
3267                         Pathname "path"]), 144, [Optional "linuxxattrs"],
3268    [],
3269    "set extended attribute of a file or directory",
3270    "\
3271 This is the same as C<guestfs_setxattr>, but if C<path>
3272 is a symbolic link, then it sets an extended attribute
3273 of the link itself.");
3274
3275   ("removexattr", (RErr, [String "xattr"; Pathname "path"]), 145, [Optional "linuxxattrs"],
3276    [],
3277    "remove extended attribute of a file or directory",
3278    "\
3279 This call removes the extended attribute named C<xattr>
3280 of the file C<path>.
3281
3282 See also: C<guestfs_lremovexattr>, L<attr(5)>.");
3283
3284   ("lremovexattr", (RErr, [String "xattr"; Pathname "path"]), 146, [Optional "linuxxattrs"],
3285    [],
3286    "remove extended attribute of a file or directory",
3287    "\
3288 This is the same as C<guestfs_removexattr>, but if C<path>
3289 is a symbolic link, then it removes an extended attribute
3290 of the link itself.");
3291
3292   ("mountpoints", (RHashtable "mps", []), 147, [],
3293    [],
3294    "show mountpoints",
3295    "\
3296 This call is similar to C<guestfs_mounts>.  That call returns
3297 a list of devices.  This one returns a hash table (map) of
3298 device name to directory where the device is mounted.");
3299
3300   ("mkmountpoint", (RErr, [String "exemptpath"]), 148, [],
3301    (* This is a special case: while you would expect a parameter
3302     * of type "Pathname", that doesn't work, because it implies
3303     * NEED_ROOT in the generated calling code in stubs.c, and
3304     * this function cannot use NEED_ROOT.
3305     *)
3306    [],
3307    "create a mountpoint",
3308    "\
3309 C<guestfs_mkmountpoint> and C<guestfs_rmmountpoint> are
3310 specialized calls that can be used to create extra mountpoints
3311 before mounting the first filesystem.
3312
3313 These calls are I<only> necessary in some very limited circumstances,
3314 mainly the case where you want to mount a mix of unrelated and/or
3315 read-only filesystems together.
3316
3317 For example, live CDs often contain a \"Russian doll\" nest of
3318 filesystems, an ISO outer layer, with a squashfs image inside, with
3319 an ext2/3 image inside that.  You can unpack this as follows
3320 in guestfish:
3321
3322  add-ro Fedora-11-i686-Live.iso
3323  run
3324  mkmountpoint /cd
3325  mkmountpoint /squash
3326  mkmountpoint /ext3
3327  mount /dev/sda /cd
3328  mount-loop /cd/LiveOS/squashfs.img /squash
3329  mount-loop /squash/LiveOS/ext3fs.img /ext3
3330
3331 The inner filesystem is now unpacked under the /ext3 mountpoint.");
3332
3333   ("rmmountpoint", (RErr, [String "exemptpath"]), 149, [],
3334    [],
3335    "remove a mountpoint",
3336    "\
3337 This calls removes a mountpoint that was previously created
3338 with C<guestfs_mkmountpoint>.  See C<guestfs_mkmountpoint>
3339 for full details.");
3340
3341   ("read_file", (RBufferOut "content", [Pathname "path"]), 150, [ProtocolLimitWarning],
3342    [InitISOFS, Always, TestOutputBuffer (
3343       [["read_file"; "/known-4"]], "abc\ndef\nghi");
3344     (* Test various near large, large and too large files (RHBZ#589039). *)
3345     InitBasicFS, Always, TestLastFail (
3346       [["touch"; "/a"];
3347        ["truncate_size"; "/a"; "4194303"]; (* GUESTFS_MESSAGE_MAX - 1 *)
3348        ["read_file"; "/a"]]);
3349     InitBasicFS, Always, TestLastFail (
3350       [["touch"; "/a"];
3351        ["truncate_size"; "/a"; "4194304"]; (* GUESTFS_MESSAGE_MAX *)
3352        ["read_file"; "/a"]]);
3353     InitBasicFS, Always, TestLastFail (
3354       [["touch"; "/a"];
3355        ["truncate_size"; "/a"; "41943040"]; (* GUESTFS_MESSAGE_MAX * 10 *)
3356        ["read_file"; "/a"]])],
3357    "read a file",
3358    "\
3359 This calls returns the contents of the file C<path> as a
3360 buffer.
3361
3362 Unlike C<guestfs_cat>, this function can correctly
3363 handle files that contain embedded ASCII NUL characters.
3364 However unlike C<guestfs_download>, this function is limited
3365 in the total size of file that can be handled.");
3366
3367   ("grep", (RStringList "lines", [String "regex"; Pathname "path"]), 151, [ProtocolLimitWarning],
3368    [InitISOFS, Always, TestOutputList (
3369       [["grep"; "abc"; "/test-grep.txt"]], ["abc"; "abc123"]);
3370     InitISOFS, Always, TestOutputList (
3371       [["grep"; "nomatch"; "/test-grep.txt"]], []);
3372     (* Test for RHBZ#579608, absolute symbolic links. *)
3373     InitISOFS, Always, TestOutputList (
3374       [["grep"; "nomatch"; "/abssymlink"]], [])],
3375    "return lines matching a pattern",
3376    "\
3377 This calls the external C<grep> program and returns the
3378 matching lines.");
3379
3380   ("egrep", (RStringList "lines", [String "regex"; Pathname "path"]), 152, [ProtocolLimitWarning],
3381    [InitISOFS, Always, TestOutputList (
3382       [["egrep"; "abc"; "/test-grep.txt"]], ["abc"; "abc123"])],
3383    "return lines matching a pattern",
3384    "\
3385 This calls the external C<egrep> program and returns the
3386 matching lines.");
3387
3388   ("fgrep", (RStringList "lines", [String "pattern"; Pathname "path"]), 153, [ProtocolLimitWarning],
3389    [InitISOFS, Always, TestOutputList (
3390       [["fgrep"; "abc"; "/test-grep.txt"]], ["abc"; "abc123"])],
3391    "return lines matching a pattern",
3392    "\
3393 This calls the external C<fgrep> program and returns the
3394 matching lines.");
3395
3396   ("grepi", (RStringList "lines", [String "regex"; Pathname "path"]), 154, [ProtocolLimitWarning],
3397    [InitISOFS, Always, TestOutputList (
3398       [["grepi"; "abc"; "/test-grep.txt"]], ["abc"; "abc123"; "ABC"])],
3399    "return lines matching a pattern",
3400    "\
3401 This calls the external C<grep -i> program and returns the
3402 matching lines.");
3403
3404   ("egrepi", (RStringList "lines", [String "regex"; Pathname "path"]), 155, [ProtocolLimitWarning],
3405    [InitISOFS, Always, TestOutputList (
3406       [["egrepi"; "abc"; "/test-grep.txt"]], ["abc"; "abc123"; "ABC"])],
3407    "return lines matching a pattern",
3408    "\
3409 This calls the external C<egrep -i> program and returns the
3410 matching lines.");
3411
3412   ("fgrepi", (RStringList "lines", [String "pattern"; Pathname "path"]), 156, [ProtocolLimitWarning],
3413    [InitISOFS, Always, TestOutputList (
3414       [["fgrepi"; "abc"; "/test-grep.txt"]], ["abc"; "abc123"; "ABC"])],
3415    "return lines matching a pattern",
3416    "\
3417 This calls the external C<fgrep -i> program and returns the
3418 matching lines.");
3419
3420   ("zgrep", (RStringList "lines", [String "regex"; Pathname "path"]), 157, [ProtocolLimitWarning],
3421    [InitISOFS, Always, TestOutputList (
3422       [["zgrep"; "abc"; "/test-grep.txt.gz"]], ["abc"; "abc123"])],
3423    "return lines matching a pattern",
3424    "\
3425 This calls the external C<zgrep> program and returns the
3426 matching lines.");
3427
3428   ("zegrep", (RStringList "lines", [String "regex"; Pathname "path"]), 158, [ProtocolLimitWarning],
3429    [InitISOFS, Always, TestOutputList (
3430       [["zegrep"; "abc"; "/test-grep.txt.gz"]], ["abc"; "abc123"])],
3431    "return lines matching a pattern",
3432    "\
3433 This calls the external C<zegrep> program and returns the
3434 matching lines.");
3435
3436   ("zfgrep", (RStringList "lines", [String "pattern"; Pathname "path"]), 159, [ProtocolLimitWarning],
3437    [InitISOFS, Always, TestOutputList (
3438       [["zfgrep"; "abc"; "/test-grep.txt.gz"]], ["abc"; "abc123"])],
3439    "return lines matching a pattern",
3440    "\
3441 This calls the external C<zfgrep> program and returns the
3442 matching lines.");
3443
3444   ("zgrepi", (RStringList "lines", [String "regex"; Pathname "path"]), 160, [ProtocolLimitWarning],
3445    [InitISOFS, Always, TestOutputList (
3446       [["zgrepi"; "abc"; "/test-grep.txt.gz"]], ["abc"; "abc123"; "ABC"])],
3447    "return lines matching a pattern",
3448    "\
3449 This calls the external C<zgrep -i> program and returns the
3450 matching lines.");
3451
3452   ("zegrepi", (RStringList "lines", [String "regex"; Pathname "path"]), 161, [ProtocolLimitWarning],
3453    [InitISOFS, Always, TestOutputList (
3454       [["zegrepi"; "abc"; "/test-grep.txt.gz"]], ["abc"; "abc123"; "ABC"])],
3455    "return lines matching a pattern",
3456    "\
3457 This calls the external C<zegrep -i> program and returns the
3458 matching lines.");
3459
3460   ("zfgrepi", (RStringList "lines", [String "pattern"; Pathname "path"]), 162, [ProtocolLimitWarning],
3461    [InitISOFS, Always, TestOutputList (
3462       [["zfgrepi"; "abc"; "/test-grep.txt.gz"]], ["abc"; "abc123"; "ABC"])],
3463    "return lines matching a pattern",
3464    "\
3465 This calls the external C<zfgrep -i> program and returns the
3466 matching lines.");
3467
3468   ("realpath", (RString "rpath", [Pathname "path"]), 163, [Optional "realpath"],
3469    [InitISOFS, Always, TestOutput (
3470       [["realpath"; "/../directory"]], "/directory")],
3471    "canonicalized absolute pathname",
3472    "\
3473 Return the canonicalized absolute pathname of C<path>.  The
3474 returned path has no C<.>, C<..> or symbolic link path elements.");
3475
3476   ("ln", (RErr, [String "target"; Pathname "linkname"]), 164, [],
3477    [InitBasicFS, Always, TestOutputStruct (
3478       [["touch"; "/a"];
3479        ["ln"; "/a"; "/b"];
3480        ["stat"; "/b"]], [CompareWithInt ("nlink", 2)])],
3481    "create a hard link",
3482    "\
3483 This command creates a hard link using the C<ln> command.");
3484
3485   ("ln_f", (RErr, [String "target"; Pathname "linkname"]), 165, [],
3486    [InitBasicFS, Always, TestOutputStruct (
3487       [["touch"; "/a"];
3488        ["touch"; "/b"];
3489        ["ln_f"; "/a"; "/b"];
3490        ["stat"; "/b"]], [CompareWithInt ("nlink", 2)])],
3491    "create a hard link",
3492    "\
3493 This command creates a hard link using the C<ln -f> command.
3494 The C<-f> option removes the link (C<linkname>) if it exists already.");
3495
3496   ("ln_s", (RErr, [String "target"; Pathname "linkname"]), 166, [],
3497    [InitBasicFS, Always, TestOutputStruct (
3498       [["touch"; "/a"];
3499        ["ln_s"; "a"; "/b"];
3500        ["lstat"; "/b"]], [CompareWithInt ("mode", 0o120777)])],
3501    "create a symbolic link",
3502    "\
3503 This command creates a symbolic link using the C<ln -s> command.");
3504
3505   ("ln_sf", (RErr, [String "target"; Pathname "linkname"]), 167, [],
3506    [InitBasicFS, Always, TestOutput (
3507       [["mkdir_p"; "/a/b"];
3508        ["touch"; "/a/b/c"];
3509        ["ln_sf"; "../d"; "/a/b/c"];
3510        ["readlink"; "/a/b/c"]], "../d")],
3511    "create a symbolic link",
3512    "\
3513 This command creates a symbolic link using the C<ln -sf> command,
3514 The C<-f> option removes the link (C<linkname>) if it exists already.");
3515
3516   ("readlink", (RString "link", [Pathname "path"]), 168, [],
3517    [] (* XXX tested above *),
3518    "read the target of a symbolic link",
3519    "\
3520 This command reads the target of a symbolic link.");
3521
3522   ("fallocate", (RErr, [Pathname "path"; Int "len"]), 169, [DeprecatedBy "fallocate64"],
3523    [InitBasicFS, Always, TestOutputStruct (
3524       [["fallocate"; "/a"; "1000000"];
3525        ["stat"; "/a"]], [CompareWithInt ("size", 1_000_000)])],
3526    "preallocate a file in the guest filesystem",
3527    "\
3528 This command preallocates a file (containing zero bytes) named
3529 C<path> of size C<len> bytes.  If the file exists already, it
3530 is overwritten.
3531
3532 Do not confuse this with the guestfish-specific
3533 C<alloc> command which allocates a file in the host and
3534 attaches it as a device.");
3535
3536   ("swapon_device", (RErr, [Device "device"]), 170, [],
3537    [InitPartition, Always, TestRun (
3538       [["mkswap"; "/dev/sda1"];
3539        ["swapon_device"; "/dev/sda1"];
3540        ["swapoff_device"; "/dev/sda1"]])],
3541    "enable swap on device",
3542    "\
3543 This command enables the libguestfs appliance to use the
3544 swap device or partition named C<device>.  The increased
3545 memory is made available for all commands, for example
3546 those run using C<guestfs_command> or C<guestfs_sh>.
3547
3548 Note that you should not swap to existing guest swap
3549 partitions unless you know what you are doing.  They may
3550 contain hibernation information, or other information that
3551 the guest doesn't want you to trash.  You also risk leaking
3552 information about the host to the guest this way.  Instead,
3553 attach a new host device to the guest and swap on that.");
3554
3555   ("swapoff_device", (RErr, [Device "device"]), 171, [],
3556    [], (* XXX tested by swapon_device *)
3557    "disable swap on device",
3558    "\
3559 This command disables the libguestfs appliance swap
3560 device or partition named C<device>.
3561 See C<guestfs_swapon_device>.");
3562
3563   ("swapon_file", (RErr, [Pathname "file"]), 172, [],
3564    [InitBasicFS, Always, TestRun (
3565       [["fallocate"; "/swap"; "8388608"];
3566        ["mkswap_file"; "/swap"];
3567        ["swapon_file"; "/swap"];
3568        ["swapoff_file"; "/swap"]])],
3569    "enable swap on file",
3570    "\
3571 This command enables swap to a file.
3572 See C<guestfs_swapon_device> for other notes.");
3573
3574   ("swapoff_file", (RErr, [Pathname "file"]), 173, [],
3575    [], (* XXX tested by swapon_file *)
3576    "disable swap on file",
3577    "\
3578 This command disables the libguestfs appliance swap on file.");
3579
3580   ("swapon_label", (RErr, [String "label"]), 174, [],
3581    [InitEmpty, Always, TestRun (
3582       [["part_disk"; "/dev/sdb"; "mbr"];
3583        ["mkswap_L"; "swapit"; "/dev/sdb1"];
3584        ["swapon_label"; "swapit"];
3585        ["swapoff_label"; "swapit"];
3586        ["zero"; "/dev/sdb"];
3587        ["blockdev_rereadpt"; "/dev/sdb"]])],
3588    "enable swap on labeled swap partition",
3589    "\
3590 This command enables swap to a labeled swap partition.
3591 See C<guestfs_swapon_device> for other notes.");
3592
3593   ("swapoff_label", (RErr, [String "label"]), 175, [],
3594    [], (* XXX tested by swapon_label *)
3595    "disable swap on labeled swap partition",
3596    "\
3597 This command disables the libguestfs appliance swap on
3598 labeled swap partition.");
3599
3600   ("swapon_uuid", (RErr, [String "uuid"]), 176, [Optional "linuxfsuuid"],
3601    (let uuid = uuidgen () in
3602     [InitEmpty, Always, TestRun (
3603        [["mkswap_U"; uuid; "/dev/sdb"];
3604         ["swapon_uuid"; uuid];
3605         ["swapoff_uuid"; uuid]])]),
3606    "enable swap on swap partition by UUID",
3607    "\
3608 This command enables swap to a swap partition with the given UUID.
3609 See C<guestfs_swapon_device> for other notes.");
3610
3611   ("swapoff_uuid", (RErr, [String "uuid"]), 177, [Optional "linuxfsuuid"],
3612    [], (* XXX tested by swapon_uuid *)
3613    "disable swap on swap partition by UUID",
3614    "\
3615 This command disables the libguestfs appliance swap partition
3616 with the given UUID.");
3617
3618   ("mkswap_file", (RErr, [Pathname "path"]), 178, [],
3619    [InitBasicFS, Always, TestRun (
3620       [["fallocate"; "/swap"; "8388608"];
3621        ["mkswap_file"; "/swap"]])],
3622    "create a swap file",
3623    "\
3624 Create a swap file.
3625
3626 This command just writes a swap file signature to an existing
3627 file.  To create the file itself, use something like C<guestfs_fallocate>.");
3628
3629   ("inotify_init", (RErr, [Int "maxevents"]), 179, [Optional "inotify"],
3630    [InitISOFS, Always, TestRun (
3631       [["inotify_init"; "0"]])],
3632    "create an inotify handle",
3633    "\
3634 This command creates a new inotify handle.
3635 The inotify subsystem can be used to notify events which happen to
3636 objects in the guest filesystem.
3637
3638 C<maxevents> is the maximum number of events which will be
3639 queued up between calls to C<guestfs_inotify_read> or
3640 C<guestfs_inotify_files>.
3641 If this is passed as C<0>, then the kernel (or previously set)
3642 default is used.  For Linux 2.6.29 the default was 16384 events.
3643 Beyond this limit, the kernel throws away events, but records
3644 the fact that it threw them away by setting a flag
3645 C<IN_Q_OVERFLOW> in the returned structure list (see
3646 C<guestfs_inotify_read>).
3647
3648 Before any events are generated, you have to add some
3649 watches to the internal watch list.  See:
3650 C<guestfs_inotify_add_watch>,
3651 C<guestfs_inotify_rm_watch> and
3652 C<guestfs_inotify_watch_all>.
3653
3654 Queued up events should be read periodically by calling
3655 C<guestfs_inotify_read>
3656 (or C<guestfs_inotify_files> which is just a helpful
3657 wrapper around C<guestfs_inotify_read>).  If you don't
3658 read the events out often enough then you risk the internal
3659 queue overflowing.
3660
3661 The handle should be closed after use by calling
3662 C<guestfs_inotify_close>.  This also removes any
3663 watches automatically.
3664
3665 See also L<inotify(7)> for an overview of the inotify interface
3666 as exposed by the Linux kernel, which is roughly what we expose
3667 via libguestfs.  Note that there is one global inotify handle
3668 per libguestfs instance.");
3669
3670   ("inotify_add_watch", (RInt64 "wd", [Pathname "path"; Int "mask"]), 180, [Optional "inotify"],
3671    [InitBasicFS, Always, TestOutputList (
3672       [["inotify_init"; "0"];
3673        ["inotify_add_watch"; "/"; "1073741823"];
3674        ["touch"; "/a"];
3675        ["touch"; "/b"];
3676        ["inotify_files"]], ["a"; "b"])],
3677    "add an inotify watch",
3678    "\
3679 Watch C<path> for the events listed in C<mask>.
3680
3681 Note that if C<path> is a directory then events within that
3682 directory are watched, but this does I<not> happen recursively
3683 (in subdirectories).
3684
3685 Note for non-C or non-Linux callers: the inotify events are
3686 defined by the Linux kernel ABI and are listed in
3687 C</usr/include/sys/inotify.h>.");
3688
3689   ("inotify_rm_watch", (RErr, [Int(*XXX64*) "wd"]), 181, [Optional "inotify"],
3690    [],
3691    "remove an inotify watch",
3692    "\
3693 Remove a previously defined inotify watch.
3694 See C<guestfs_inotify_add_watch>.");
3695
3696   ("inotify_read", (RStructList ("events", "inotify_event"), []), 182, [Optional "inotify"],
3697    [],
3698    "return list of inotify events",
3699    "\
3700 Return the complete queue of events that have happened
3701 since the previous read call.
3702
3703 If no events have happened, this returns an empty list.
3704
3705 I<Note>: In order to make sure that all events have been
3706 read, you must call this function repeatedly until it
3707 returns an empty list.  The reason is that the call will
3708 read events up to the maximum appliance-to-host message
3709 size and leave remaining events in the queue.");
3710
3711   ("inotify_files", (RStringList "paths", []), 183, [Optional "inotify"],
3712    [],
3713    "return list of watched files that had events",
3714    "\
3715 This function is a helpful wrapper around C<guestfs_inotify_read>
3716 which just returns a list of pathnames of objects that were
3717 touched.  The returned pathnames are sorted and deduplicated.");
3718
3719   ("inotify_close", (RErr, []), 184, [Optional "inotify"],
3720    [],
3721    "close the inotify handle",
3722    "\
3723 This closes the inotify handle which was previously
3724 opened by inotify_init.  It removes all watches, throws
3725 away any pending events, and deallocates all resources.");
3726
3727   ("setcon", (RErr, [String "context"]), 185, [Optional "selinux"],
3728    [],
3729    "set SELinux security context",
3730    "\
3731 This sets the SELinux security context of the daemon
3732 to the string C<context>.
3733
3734 See the documentation about SELINUX in L<guestfs(3)>.");
3735
3736   ("getcon", (RString "context", []), 186, [Optional "selinux"],
3737    [],
3738    "get SELinux security context",
3739    "\
3740 This gets the SELinux security context of the daemon.
3741
3742 See the documentation about SELINUX in L<guestfs(3)>,
3743 and C<guestfs_setcon>");
3744
3745   ("mkfs_b", (RErr, [String "fstype"; Int "blocksize"; Device "device"]), 187, [],
3746    [InitEmpty, Always, TestOutput (
3747       [["part_disk"; "/dev/sda"; "mbr"];
3748        ["mkfs_b"; "ext2"; "4096"; "/dev/sda1"];
3749        ["mount_options"; ""; "/dev/sda1"; "/"];
3750        ["write"; "/new"; "new file contents"];
3751        ["cat"; "/new"]], "new file contents");
3752     InitEmpty, Always, TestRun (
3753       [["part_disk"; "/dev/sda"; "mbr"];
3754        ["mkfs_b"; "vfat"; "32768"; "/dev/sda1"]]);
3755     InitEmpty, Always, TestLastFail (
3756       [["part_disk"; "/dev/sda"; "mbr"];
3757        ["mkfs_b"; "vfat"; "32769"; "/dev/sda1"]]);
3758     InitEmpty, Always, TestLastFail (
3759       [["part_disk"; "/dev/sda"; "mbr"];
3760        ["mkfs_b"; "vfat"; "33280"; "/dev/sda1"]]);
3761     InitEmpty, IfAvailable "ntfsprogs", TestRun (
3762       [["part_disk"; "/dev/sda"; "mbr"];
3763        ["mkfs_b"; "ntfs"; "32768"; "/dev/sda1"]])],
3764    "make a filesystem with block size",
3765    "\
3766 This call is similar to C<guestfs_mkfs>, but it allows you to
3767 control the block size of the resulting filesystem.  Supported
3768 block sizes depend on the filesystem type, but typically they
3769 are C<1024>, C<2048> or C<4096> only.
3770
3771 For VFAT and NTFS the C<blocksize> parameter is treated as
3772 the requested cluster size.");
3773
3774   ("mke2journal", (RErr, [Int "blocksize"; Device "device"]), 188, [],
3775    [InitEmpty, Always, TestOutput (
3776       [["sfdiskM"; "/dev/sda"; ",100 ,"];
3777        ["mke2journal"; "4096"; "/dev/sda1"];
3778        ["mke2fs_J"; "ext2"; "4096"; "/dev/sda2"; "/dev/sda1"];
3779        ["mount_options"; ""; "/dev/sda2"; "/"];
3780        ["write"; "/new"; "new file contents"];
3781        ["cat"; "/new"]], "new file contents")],
3782    "make ext2/3/4 external journal",
3783    "\
3784 This creates an ext2 external journal on C<device>.  It is equivalent
3785 to the command:
3786
3787  mke2fs -O journal_dev -b blocksize device");
3788
3789   ("mke2journal_L", (RErr, [Int "blocksize"; String "label"; Device "device"]), 189, [],
3790    [InitEmpty, Always, TestOutput (
3791       [["sfdiskM"; "/dev/sda"; ",100 ,"];
3792        ["mke2journal_L"; "4096"; "JOURNAL"; "/dev/sda1"];
3793        ["mke2fs_JL"; "ext2"; "4096"; "/dev/sda2"; "JOURNAL"];
3794        ["mount_options"; ""; "/dev/sda2"; "/"];
3795        ["write"; "/new"; "new file contents"];
3796        ["cat"; "/new"]], "new file contents")],
3797    "make ext2/3/4 external journal with label",
3798    "\
3799 This creates an ext2 external journal on C<device> with label C<label>.");
3800
3801   ("mke2journal_U", (RErr, [Int "blocksize"; String "uuid"; Device "device"]), 190, [Optional "linuxfsuuid"],
3802    (let uuid = uuidgen () in
3803     [InitEmpty, Always, TestOutput (
3804        [["sfdiskM"; "/dev/sda"; ",100 ,"];
3805         ["mke2journal_U"; "4096"; uuid; "/dev/sda1"];
3806         ["mke2fs_JU"; "ext2"; "4096"; "/dev/sda2"; uuid];
3807         ["mount_options"; ""; "/dev/sda2"; "/"];
3808         ["write"; "/new"; "new file contents"];
3809         ["cat"; "/new"]], "new file contents")]),
3810    "make ext2/3/4 external journal with UUID",
3811    "\
3812 This creates an ext2 external journal on C<device> with UUID C<uuid>.");
3813
3814   ("mke2fs_J", (RErr, [String "fstype"; Int "blocksize"; Device "device"; Device "journal"]), 191, [],
3815    [],
3816    "make ext2/3/4 filesystem with external journal",
3817    "\
3818 This creates an ext2/3/4 filesystem on C<device> with
3819 an external journal on C<journal>.  It is equivalent
3820 to the command:
3821
3822  mke2fs -t fstype -b blocksize -J device=<journal> <device>
3823
3824 See also C<guestfs_mke2journal>.");
3825
3826   ("mke2fs_JL", (RErr, [String "fstype"; Int "blocksize"; Device "device"; String "label"]), 192, [],
3827    [],
3828    "make ext2/3/4 filesystem with external journal",
3829    "\
3830 This creates an ext2/3/4 filesystem on C<device> with
3831 an external journal on the journal labeled C<label>.
3832
3833 See also C<guestfs_mke2journal_L>.");
3834
3835   ("mke2fs_JU", (RErr, [String "fstype"; Int "blocksize"; Device "device"; String "uuid"]), 193, [Optional "linuxfsuuid"],
3836    [],
3837    "make ext2/3/4 filesystem with external journal",
3838    "\
3839 This creates an ext2/3/4 filesystem on C<device> with
3840 an external journal on the journal with UUID C<uuid>.
3841
3842 See also C<guestfs_mke2journal_U>.");
3843
3844   ("modprobe", (RErr, [String "modulename"]), 194, [Optional "linuxmodules"],
3845    [InitNone, Always, TestRun [["modprobe"; "fat"]]],
3846    "load a kernel module",
3847    "\
3848 This loads a kernel module in the appliance.
3849
3850 The kernel module must have been whitelisted when libguestfs
3851 was built (see C<appliance/kmod.whitelist.in> in the source).");
3852
3853   ("echo_daemon", (RString "output", [StringList "words"]), 195, [],
3854    [InitNone, Always, TestOutput (
3855       [["echo_daemon"; "This is a test"]], "This is a test"
3856     )],
3857    "echo arguments back to the client",
3858    "\
3859 This command concatenates the list of C<words> passed with single spaces
3860 between them and returns the resulting string.
3861
3862 You can use this command to test the connection through to the daemon.
3863
3864 See also C<guestfs_ping_daemon>.");
3865
3866   ("find0", (RErr, [Pathname "directory"; FileOut "files"]), 196, [],
3867    [], (* There is a regression test for this. *)
3868    "find all files and directories, returning NUL-separated list",
3869    "\
3870 This command lists out all files and directories, recursively,
3871 starting at C<directory>, placing the resulting list in the
3872 external file called C<files>.
3873
3874 This command works the same way as C<guestfs_find> with the
3875 following exceptions:
3876
3877 =over 4
3878
3879 =item *
3880
3881 The resulting list is written to an external file.
3882
3883 =item *
3884
3885 Items (filenames) in the result are separated
3886 by C<\\0> characters.  See L<find(1)> option I<-print0>.
3887
3888 =item *
3889
3890 This command is not limited in the number of names that it
3891 can return.
3892
3893 =item *
3894
3895 The result list is not sorted.
3896
3897 =back");
3898
3899   ("case_sensitive_path", (RString "rpath", [Pathname "path"]), 197, [],
3900    [InitISOFS, Always, TestOutput (
3901       [["case_sensitive_path"; "/DIRECTORY"]], "/directory");
3902     InitISOFS, Always, TestOutput (
3903       [["case_sensitive_path"; "/DIRECTORY/"]], "/directory");
3904     InitISOFS, Always, TestOutput (
3905       [["case_sensitive_path"; "/Known-1"]], "/known-1");
3906     InitISOFS, Always, TestLastFail (
3907       [["case_sensitive_path"; "/Known-1/"]]);
3908     InitBasicFS, Always, TestOutput (
3909       [["mkdir"; "/a"];
3910        ["mkdir"; "/a/bbb"];
3911        ["touch"; "/a/bbb/c"];
3912        ["case_sensitive_path"; "/A/bbB/C"]], "/a/bbb/c");
3913     InitBasicFS, Always, TestOutput (
3914       [["mkdir"; "/a"];
3915        ["mkdir"; "/a/bbb"];
3916        ["touch"; "/a/bbb/c"];
3917        ["case_sensitive_path"; "/A////bbB/C"]], "/a/bbb/c");
3918     InitBasicFS, Always, TestLastFail (
3919       [["mkdir"; "/a"];
3920        ["mkdir"; "/a/bbb"];
3921        ["touch"; "/a/bbb/c"];
3922        ["case_sensitive_path"; "/A/bbb/../bbb/C"]])],
3923    "return true path on case-insensitive filesystem",
3924    "\
3925 This can be used to resolve case insensitive paths on
3926 a filesystem which is case sensitive.  The use case is
3927 to resolve paths which you have read from Windows configuration
3928 files or the Windows Registry, to the true path.
3929
3930 The command handles a peculiarity of the Linux ntfs-3g
3931 filesystem driver (and probably others), which is that although
3932 the underlying filesystem is case-insensitive, the driver
3933 exports the filesystem to Linux as case-sensitive.
3934
3935 One consequence of this is that special directories such
3936 as C<c:\\windows> may appear as C</WINDOWS> or C</windows>
3937 (or other things) depending on the precise details of how
3938 they were created.  In Windows itself this would not be
3939 a problem.
3940
3941 Bug or feature?  You decide:
3942 L<http://www.tuxera.com/community/ntfs-3g-faq/#posixfilenames1>
3943
3944 This function resolves the true case of each element in the
3945 path and returns the case-sensitive path.
3946
3947 Thus C<guestfs_case_sensitive_path> (\"/Windows/System32\")
3948 might return C<\"/WINDOWS/system32\"> (the exact return value
3949 would depend on details of how the directories were originally
3950 created under Windows).
3951
3952 I<Note>:
3953 This function does not handle drive names, backslashes etc.
3954
3955 See also C<guestfs_realpath>.");
3956
3957   ("vfs_type", (RString "fstype", [Device "device"]), 198, [],
3958    [InitBasicFS, Always, TestOutput (
3959       [["vfs_type"; "/dev/sda1"]], "ext2")],
3960    "get the Linux VFS type corresponding to a mounted device",
3961    "\
3962 This command gets the filesystem type corresponding to
3963 the filesystem on C<device>.
3964
3965 For most filesystems, the result is the name of the Linux
3966 VFS module which would be used to mount this filesystem
3967 if you mounted it without specifying the filesystem type.
3968 For example a string such as C<ext3> or C<ntfs>.");
3969
3970   ("truncate", (RErr, [Pathname "path"]), 199, [],
3971    [InitBasicFS, Always, TestOutputStruct (
3972       [["write"; "/test"; "some stuff so size is not zero"];
3973        ["truncate"; "/test"];
3974        ["stat"; "/test"]], [CompareWithInt ("size", 0)])],
3975    "truncate a file to zero size",
3976    "\
3977 This command truncates C<path> to a zero-length file.  The
3978 file must exist already.");
3979
3980   ("truncate_size", (RErr, [Pathname "path"; Int64 "size"]), 200, [],
3981    [InitBasicFS, Always, TestOutputStruct (
3982       [["touch"; "/test"];
3983        ["truncate_size"; "/test"; "1000"];
3984        ["stat"; "/test"]], [CompareWithInt ("size", 1000)])],
3985    "truncate a file to a particular size",
3986    "\
3987 This command truncates C<path> to size C<size> bytes.  The file
3988 must exist already.
3989
3990 If the current file size is less than C<size> then
3991 the file is extended to the required size with zero bytes.
3992 This creates a sparse file (ie. disk blocks are not allocated
3993 for the file until you write to it).  To create a non-sparse
3994 file of zeroes, use C<guestfs_fallocate64> instead.");
3995
3996   ("utimens", (RErr, [Pathname "path"; Int64 "atsecs"; Int64 "atnsecs"; Int64 "mtsecs"; Int64 "mtnsecs"]), 201, [],
3997    [InitBasicFS, Always, TestOutputStruct (
3998       [["touch"; "/test"];
3999        ["utimens"; "/test"; "12345"; "67890"; "9876"; "5432"];
4000        ["stat"; "/test"]], [CompareWithInt ("mtime", 9876)])],
4001    "set timestamp of a file with nanosecond precision",
4002    "\
4003 This command sets the timestamps of a file with nanosecond
4004 precision.
4005
4006 C<atsecs, atnsecs> are the last access time (atime) in secs and
4007 nanoseconds from the epoch.
4008
4009 C<mtsecs, mtnsecs> are the last modification time (mtime) in
4010 secs and nanoseconds from the epoch.
4011
4012 If the C<*nsecs> field contains the special value C<-1> then
4013 the corresponding timestamp is set to the current time.  (The
4014 C<*secs> field is ignored in this case).
4015
4016 If the C<*nsecs> field contains the special value C<-2> then
4017 the corresponding timestamp is left unchanged.  (The
4018 C<*secs> field is ignored in this case).");
4019
4020   ("mkdir_mode", (RErr, [Pathname "path"; Int "mode"]), 202, [],
4021    [InitBasicFS, Always, TestOutputStruct (
4022       [["mkdir_mode"; "/test"; "0o111"];
4023        ["stat"; "/test"]], [CompareWithInt ("mode", 0o40111)])],
4024    "create a directory with a particular mode",
4025    "\
4026 This command creates a directory, setting the initial permissions
4027 of the directory to C<mode>.
4028
4029 For common Linux filesystems, the actual mode which is set will
4030 be C<mode & ~umask & 01777>.  Non-native-Linux filesystems may
4031 interpret the mode in other ways.
4032
4033 See also C<guestfs_mkdir>, C<guestfs_umask>");
4034
4035   ("lchown", (RErr, [Int "owner"; Int "group"; Pathname "path"]), 203, [],
4036    [], (* XXX *)
4037    "change file owner and group",
4038    "\
4039 Change the file owner to C<owner> and group to C<group>.
4040 This is like C<guestfs_chown> but if C<path> is a symlink then
4041 the link itself is changed, not the target.
4042
4043 Only numeric uid and gid are supported.  If you want to use
4044 names, you will need to locate and parse the password file
4045 yourself (Augeas support makes this relatively easy).");
4046
4047   ("lstatlist", (RStructList ("statbufs", "stat"), [Pathname "path"; StringList "names"]), 204, [],
4048    [], (* XXX *)
4049    "lstat on multiple files",
4050    "\
4051 This call allows you to perform the C<guestfs_lstat> operation
4052 on multiple files, where all files are in the directory C<path>.
4053 C<names> is the list of files from this directory.
4054
4055 On return you get a list of stat structs, with a one-to-one
4056 correspondence to the C<names> list.  If any name did not exist
4057 or could not be lstat'd, then the C<ino> field of that structure
4058 is set to C<-1>.
4059
4060 This call is intended for programs that want to efficiently
4061 list a directory contents without making many round-trips.
4062 See also C<guestfs_lxattrlist> for a similarly efficient call
4063 for getting extended attributes.  Very long directory listings
4064 might cause the protocol message size to be exceeded, causing
4065 this call to fail.  The caller must split up such requests
4066 into smaller groups of names.");
4067
4068   ("lxattrlist", (RStructList ("xattrs", "xattr"), [Pathname "path"; StringList "names"]), 205, [Optional "linuxxattrs"],
4069    [], (* XXX *)
4070    "lgetxattr on multiple files",
4071    "\
4072 This call allows you to get the extended attributes
4073 of multiple files, where all files are in the directory C<path>.
4074 C<names> is the list of files from this directory.
4075
4076 On return you get a flat list of xattr structs which must be
4077 interpreted sequentially.  The first xattr struct always has a zero-length
4078 C<attrname>.  C<attrval> in this struct is zero-length
4079 to indicate there was an error doing C<lgetxattr> for this
4080 file, I<or> is a C string which is a decimal number
4081 (the number of following attributes for this file, which could
4082 be C<\"0\">).  Then after the first xattr struct are the
4083 zero or more attributes for the first named file.
4084 This repeats for the second and subsequent files.
4085
4086 This call is intended for programs that want to efficiently
4087 list a directory contents without making many round-trips.
4088 See also C<guestfs_lstatlist> for a similarly efficient call
4089 for getting standard stats.  Very long directory listings
4090 might cause the protocol message size to be exceeded, causing
4091 this call to fail.  The caller must split up such requests
4092 into smaller groups of names.");
4093
4094   ("readlinklist", (RStringList "links", [Pathname "path"; StringList "names"]), 206, [],
4095    [], (* XXX *)
4096    "readlink on multiple files",
4097    "\
4098 This call allows you to do a C<readlink> operation
4099 on multiple files, where all files are in the directory C<path>.
4100 C<names> is the list of files from this directory.
4101
4102 On return you get a list of strings, with a one-to-one
4103 correspondence to the C<names> list.  Each string is the
4104 value of the symbolic link.
4105
4106 If the C<readlink(2)> operation fails on any name, then
4107 the corresponding result string is the empty string C<\"\">.
4108 However the whole operation is completed even if there
4109 were C<readlink(2)> errors, and so you can call this
4110 function with names where you don't know if they are
4111 symbolic links already (albeit slightly less efficient).
4112
4113 This call is intended for programs that want to efficiently
4114 list a directory contents without making many round-trips.
4115 Very long directory listings might cause the protocol
4116 message size to be exceeded, causing
4117 this call to fail.  The caller must split up such requests
4118 into smaller groups of names.");
4119
4120   ("pread", (RBufferOut "content", [Pathname "path"; Int "count"; Int64 "offset"]), 207, [ProtocolLimitWarning],
4121    [InitISOFS, Always, TestOutputBuffer (
4122       [["pread"; "/known-4"; "1"; "3"]], "\n");
4123     InitISOFS, Always, TestOutputBuffer (
4124       [["pread"; "/empty"; "0"; "100"]], "")],
4125    "read part of a file",
4126    "\
4127 This command lets you read part of a file.  It reads C<count>
4128 bytes of the file, starting at C<offset>, from file C<path>.
4129
4130 This may read fewer bytes than requested.  For further details
4131 see the L<pread(2)> system call.
4132
4133 See also C<guestfs_pwrite>.");
4134
4135   ("part_init", (RErr, [Device "device"; String "parttype"]), 208, [],
4136    [InitEmpty, Always, TestRun (
4137       [["part_init"; "/dev/sda"; "gpt"]])],
4138    "create an empty partition table",
4139    "\
4140 This creates an empty partition table on C<device> of one of the
4141 partition types listed below.  Usually C<parttype> should be
4142 either C<msdos> or C<gpt> (for large disks).
4143
4144 Initially there are no partitions.  Following this, you should
4145 call C<guestfs_part_add> for each partition required.
4146
4147 Possible values for C<parttype> are:
4148
4149 =over 4
4150
4151 =item B<efi> | B<gpt>
4152
4153 Intel EFI / GPT partition table.
4154
4155 This is recommended for >= 2 TB partitions that will be accessed
4156 from Linux and Intel-based Mac OS X.  It also has limited backwards
4157 compatibility with the C<mbr> format.
4158
4159 =item B<mbr> | B<msdos>
4160
4161 The standard PC \"Master Boot Record\" (MBR) format used
4162 by MS-DOS and Windows.  This partition type will B<only> work
4163 for device sizes up to 2 TB.  For large disks we recommend
4164 using C<gpt>.
4165
4166 =back
4167
4168 Other partition table types that may work but are not
4169 supported include:
4170
4171 =over 4
4172
4173 =item B<aix>
4174
4175 AIX disk labels.
4176
4177 =item B<amiga> | B<rdb>
4178
4179 Amiga \"Rigid Disk Block\" format.
4180
4181 =item B<bsd>
4182
4183 BSD disk labels.
4184
4185 =item B<dasd>
4186
4187 DASD, used on IBM mainframes.
4188
4189 =item B<dvh>
4190
4191 MIPS/SGI volumes.
4192
4193 =item B<mac>
4194
4195 Old Mac partition format.  Modern Macs use C<gpt>.
4196
4197 =item B<pc98>
4198
4199 NEC PC-98 format, common in Japan apparently.
4200
4201 =item B<sun>
4202
4203 Sun disk labels.
4204
4205 =back");
4206
4207   ("part_add", (RErr, [Device "device"; String "prlogex"; Int64 "startsect"; Int64 "endsect"]), 209, [],
4208    [InitEmpty, Always, TestRun (
4209       [["part_init"; "/dev/sda"; "mbr"];
4210        ["part_add"; "/dev/sda"; "primary"; "1"; "-1"]]);
4211     InitEmpty, Always, TestRun (
4212       [["part_init"; "/dev/sda"; "gpt"];
4213        ["part_add"; "/dev/sda"; "primary"; "34"; "127"];
4214        ["part_add"; "/dev/sda"; "primary"; "128"; "-34"]]);
4215     InitEmpty, Always, TestRun (
4216       [["part_init"; "/dev/sda"; "mbr"];
4217        ["part_add"; "/dev/sda"; "primary"; "32"; "127"];
4218        ["part_add"; "/dev/sda"; "primary"; "128"; "255"];
4219        ["part_add"; "/dev/sda"; "primary"; "256"; "511"];
4220        ["part_add"; "/dev/sda"; "primary"; "512"; "-1"]])],
4221    "add a partition to the device",
4222    "\
4223 This command adds a partition to C<device>.  If there is no partition
4224 table on the device, call C<guestfs_part_init> first.
4225
4226 The C<prlogex> parameter is the type of partition.  Normally you
4227 should pass C<p> or C<primary> here, but MBR partition tables also
4228 support C<l> (or C<logical>) and C<e> (or C<extended>) partition
4229 types.
4230
4231 C<startsect> and C<endsect> are the start and end of the partition
4232 in I<sectors>.  C<endsect> may be negative, which means it counts
4233 backwards from the end of the disk (C<-1> is the last sector).
4234
4235 Creating a partition which covers the whole disk is not so easy.
4236 Use C<guestfs_part_disk> to do that.");
4237
4238   ("part_disk", (RErr, [Device "device"; String "parttype"]), 210, [DangerWillRobinson],
4239    [InitEmpty, Always, TestRun (
4240       [["part_disk"; "/dev/sda"; "mbr"]]);
4241     InitEmpty, Always, TestRun (
4242       [["part_disk"; "/dev/sda"; "gpt"]])],
4243    "partition whole disk with a single primary partition",
4244    "\
4245 This command is simply a combination of C<guestfs_part_init>
4246 followed by C<guestfs_part_add> to create a single primary partition
4247 covering the whole disk.
4248
4249 C<parttype> is the partition table type, usually C<mbr> or C<gpt>,
4250 but other possible values are described in C<guestfs_part_init>.");
4251
4252   ("part_set_bootable", (RErr, [Device "device"; Int "partnum"; Bool "bootable"]), 211, [],
4253    [InitEmpty, Always, TestRun (
4254       [["part_disk"; "/dev/sda"; "mbr"];
4255        ["part_set_bootable"; "/dev/sda"; "1"; "true"]])],
4256    "make a partition bootable",
4257    "\
4258 This sets the bootable flag on partition numbered C<partnum> on
4259 device C<device>.  Note that partitions are numbered from 1.
4260
4261 The bootable flag is used by some operating systems (notably
4262 Windows) to determine which partition to boot from.  It is by
4263 no means universally recognized.");
4264
4265   ("part_set_name", (RErr, [Device "device"; Int "partnum"; String "name"]), 212, [],
4266    [InitEmpty, Always, TestRun (
4267       [["part_disk"; "/dev/sda"; "gpt"];
4268        ["part_set_name"; "/dev/sda"; "1"; "thepartname"]])],
4269    "set partition name",
4270    "\
4271 This sets the partition name on partition numbered C<partnum> on
4272 device C<device>.  Note that partitions are numbered from 1.
4273
4274 The partition name can only be set on certain types of partition
4275 table.  This works on C<gpt> but not on C<mbr> partitions.");
4276
4277   ("part_list", (RStructList ("partitions", "partition"), [Device "device"]), 213, [],
4278    [], (* XXX Add a regression test for this. *)
4279    "list partitions on a device",
4280    "\
4281 This command parses the partition table on C<device> and
4282 returns the list of partitions found.
4283
4284 The fields in the returned structure are:
4285
4286 =over 4
4287
4288 =item B<part_num>
4289
4290 Partition number, counting from 1.
4291
4292 =item B<part_start>
4293
4294 Start of the partition I<in bytes>.  To get sectors you have to
4295 divide by the device's sector size, see C<guestfs_blockdev_getss>.
4296
4297 =item B<part_end>
4298
4299 End of the partition in bytes.
4300
4301 =item B<part_size>
4302
4303 Size of the partition in bytes.
4304
4305 =back");
4306
4307   ("part_get_parttype", (RString "parttype", [Device "device"]), 214, [],
4308    [InitEmpty, Always, TestOutput (
4309       [["part_disk"; "/dev/sda"; "gpt"];
4310        ["part_get_parttype"; "/dev/sda"]], "gpt")],
4311    "get the partition table type",
4312    "\
4313 This command examines the partition table on C<device> and
4314 returns the partition table type (format) being used.
4315
4316 Common return values include: C<msdos> (a DOS/Windows style MBR
4317 partition table), C<gpt> (a GPT/EFI-style partition table).  Other
4318 values are possible, although unusual.  See C<guestfs_part_init>
4319 for a full list.");
4320
4321   ("fill", (RErr, [Int "c"; Int "len"; Pathname "path"]), 215, [],
4322    [InitBasicFS, Always, TestOutputBuffer (
4323       [["fill"; "0x63"; "10"; "/test"];
4324        ["read_file"; "/test"]], "cccccccccc")],
4325    "fill a file with octets",
4326    "\
4327 This command creates a new file called C<path>.  The initial
4328 content of the file is C<len> octets of C<c>, where C<c>
4329 must be a number in the range C<[0..255]>.
4330
4331 To fill a file with zero bytes (sparsely), it is
4332 much more efficient to use C<guestfs_truncate_size>.
4333 To create a file with a pattern of repeating bytes
4334 use C<guestfs_fill_pattern>.");
4335
4336   ("available", (RErr, [StringList "groups"]), 216, [],
4337    [InitNone, Always, TestRun [["available"; ""]]],
4338    "test availability of some parts of the API",
4339    "\
4340 This command is used to check the availability of some
4341 groups of functionality in the appliance, which not all builds of
4342 the libguestfs appliance will be able to provide.
4343
4344 The libguestfs groups, and the functions that those
4345 groups correspond to, are listed in L<guestfs(3)/AVAILABILITY>.
4346 You can also fetch this list at runtime by calling
4347 C<guestfs_available_all_groups>.
4348
4349 The argument C<groups> is a list of group names, eg:
4350 C<[\"inotify\", \"augeas\"]> would check for the availability of
4351 the Linux inotify functions and Augeas (configuration file
4352 editing) functions.
4353
4354 The command returns no error if I<all> requested groups are available.
4355
4356 It fails with an error if one or more of the requested
4357 groups is unavailable in the appliance.
4358
4359 If an unknown group name is included in the
4360 list of groups then an error is always returned.
4361
4362 I<Notes:>
4363
4364 =over 4
4365
4366 =item *
4367
4368 You must call C<guestfs_launch> before calling this function.
4369
4370 The reason is because we don't know what groups are
4371 supported by the appliance/daemon until it is running and can
4372 be queried.
4373
4374 =item *
4375
4376 If a group of functions is available, this does not necessarily
4377 mean that they will work.  You still have to check for errors
4378 when calling individual API functions even if they are
4379 available.
4380
4381 =item *
4382
4383 It is usually the job of distro packagers to build
4384 complete functionality into the libguestfs appliance.
4385 Upstream libguestfs, if built from source with all
4386 requirements satisfied, will support everything.
4387
4388 =item *
4389
4390 This call was added in version C<1.0.80>.  In previous
4391 versions of libguestfs all you could do would be to speculatively
4392 execute a command to find out if the daemon implemented it.
4393 See also C<guestfs_version>.
4394
4395 =back");
4396
4397   ("dd", (RErr, [Dev_or_Path "src"; Dev_or_Path "dest"]), 217, [],
4398    [InitBasicFS, Always, TestOutputBuffer (
4399       [["write"; "/src"; "hello, world"];
4400        ["dd"; "/src"; "/dest"];
4401        ["read_file"; "/dest"]], "hello, world")],
4402    "copy from source to destination using dd",
4403    "\
4404 This command copies from one source device or file C<src>
4405 to another destination device or file C<dest>.  Normally you
4406 would use this to copy to or from a device or partition, for
4407 example to duplicate a filesystem.
4408
4409 If the destination is a device, it must be as large or larger
4410 than the source file or device, otherwise the copy will fail.
4411 This command cannot do partial copies (see C<guestfs_copy_size>).");
4412
4413   ("filesize", (RInt64 "size", [Pathname "file"]), 218, [],
4414    [InitBasicFS, Always, TestOutputInt (
4415       [["write"; "/file"; "hello, world"];
4416        ["filesize"; "/file"]], 12)],
4417    "return the size of the file in bytes",
4418    "\
4419 This command returns the size of C<file> in bytes.
4420
4421 To get other stats about a file, use C<guestfs_stat>, C<guestfs_lstat>,
4422 C<guestfs_is_dir>, C<guestfs_is_file> etc.
4423 To get the size of block devices, use C<guestfs_blockdev_getsize64>.");
4424
4425   ("lvrename", (RErr, [String "logvol"; String "newlogvol"]), 219, [],
4426    [InitBasicFSonLVM, Always, TestOutputList (
4427       [["lvrename"; "/dev/VG/LV"; "/dev/VG/LV2"];
4428        ["lvs"]], ["/dev/VG/LV2"])],
4429    "rename an LVM logical volume",
4430    "\
4431 Rename a logical volume C<logvol> with the new name C<newlogvol>.");
4432
4433   ("vgrename", (RErr, [String "volgroup"; String "newvolgroup"]), 220, [],
4434    [InitBasicFSonLVM, Always, TestOutputList (
4435       [["umount"; "/"];
4436        ["vg_activate"; "false"; "VG"];
4437        ["vgrename"; "VG"; "VG2"];
4438        ["vg_activate"; "true"; "VG2"];
4439        ["mount_options"; ""; "/dev/VG2/LV"; "/"];
4440        ["vgs"]], ["VG2"])],
4441    "rename an LVM volume group",
4442    "\
4443 Rename a volume group C<volgroup> with the new name C<newvolgroup>.");
4444
4445   ("initrd_cat", (RBufferOut "content", [Pathname "initrdpath"; String "filename"]), 221, [ProtocolLimitWarning],
4446    [InitISOFS, Always, TestOutputBuffer (
4447       [["initrd_cat"; "/initrd"; "known-4"]], "abc\ndef\nghi")],
4448    "list the contents of a single file in an initrd",
4449    "\
4450 This command unpacks the file C<filename> from the initrd file
4451 called C<initrdpath>.  The filename must be given I<without> the
4452 initial C</> character.
4453
4454 For example, in guestfish you could use the following command
4455 to examine the boot script (usually called C</init>)
4456 contained in a Linux initrd or initramfs image:
4457
4458  initrd-cat /boot/initrd-<version>.img init
4459
4460 See also C<guestfs_initrd_list>.");
4461
4462   ("pvuuid", (RString "uuid", [Device "device"]), 222, [],
4463    [],
4464    "get the UUID of a physical volume",
4465    "\
4466 This command returns the UUID of the LVM PV C<device>.");
4467
4468   ("vguuid", (RString "uuid", [String "vgname"]), 223, [],
4469    [],
4470    "get the UUID of a volume group",
4471    "\
4472 This command returns the UUID of the LVM VG named C<vgname>.");
4473
4474   ("lvuuid", (RString "uuid", [Device "device"]), 224, [],
4475    [],
4476    "get the UUID of a logical volume",
4477    "\
4478 This command returns the UUID of the LVM LV C<device>.");
4479
4480   ("vgpvuuids", (RStringList "uuids", [String "vgname"]), 225, [],
4481    [],
4482    "get the PV UUIDs containing the volume group",
4483    "\
4484 Given a VG called C<vgname>, this returns the UUIDs of all
4485 the physical volumes that this volume group resides on.
4486
4487 You can use this along with C<guestfs_pvs> and C<guestfs_pvuuid>
4488 calls to associate physical volumes and volume groups.
4489
4490 See also C<guestfs_vglvuuids>.");
4491
4492   ("vglvuuids", (RStringList "uuids", [String "vgname"]), 226, [],
4493    [],
4494    "get the LV UUIDs of all LVs in the volume group",
4495    "\
4496 Given a VG called C<vgname>, this returns the UUIDs of all
4497 the logical volumes created in this volume group.
4498
4499 You can use this along with C<guestfs_lvs> and C<guestfs_lvuuid>
4500 calls to associate logical volumes and volume groups.
4501
4502 See also C<guestfs_vgpvuuids>.");
4503
4504   ("copy_size", (RErr, [Dev_or_Path "src"; Dev_or_Path "dest"; Int64 "size"]), 227, [],
4505    [InitBasicFS, Always, TestOutputBuffer (
4506       [["write"; "/src"; "hello, world"];
4507        ["copy_size"; "/src"; "/dest"; "5"];
4508        ["read_file"; "/dest"]], "hello")],
4509    "copy size bytes from source to destination using dd",
4510    "\
4511 This command copies exactly C<size> bytes from one source device
4512 or file C<src> to another destination device or file C<dest>.
4513
4514 Note this will fail if the source is too short or if the destination
4515 is not large enough.");
4516
4517   ("zero_device", (RErr, [Device "device"]), 228, [DangerWillRobinson],
4518    [InitBasicFSonLVM, Always, TestRun (
4519       [["zero_device"; "/dev/VG/LV"]])],
4520    "write zeroes to an entire device",
4521    "\
4522 This command writes zeroes over the entire C<device>.  Compare
4523 with C<guestfs_zero> which just zeroes the first few blocks of
4524 a device.");
4525
4526   ("txz_in", (RErr, [FileIn "tarball"; Pathname "directory"]), 229, [Optional "xz"],
4527    [InitBasicFS, Always, TestOutput (
4528       [["txz_in"; "../images/helloworld.tar.xz"; "/"];
4529        ["cat"; "/hello"]], "hello\n")],
4530    "unpack compressed tarball to directory",
4531    "\
4532 This command uploads and unpacks local file C<tarball> (an
4533 I<xz compressed> tar file) into C<directory>.");
4534
4535   ("txz_out", (RErr, [Pathname "directory"; FileOut "tarball"]), 230, [Optional "xz"],
4536    [],
4537    "pack directory into compressed tarball",
4538    "\
4539 This command packs the contents of C<directory> and downloads
4540 it to local file C<tarball> (as an xz compressed tar archive).");
4541
4542   ("ntfsresize", (RErr, [Device "device"]), 231, [Optional "ntfsprogs"],
4543    [],
4544    "resize an NTFS filesystem",
4545    "\
4546 This command resizes an NTFS filesystem, expanding or
4547 shrinking it to the size of the underlying device.
4548 See also L<ntfsresize(8)>.");
4549
4550   ("vgscan", (RErr, []), 232, [],
4551    [InitEmpty, Always, TestRun (
4552       [["vgscan"]])],
4553    "rescan for LVM physical volumes, volume groups and logical volumes",
4554    "\
4555 This rescans all block devices and rebuilds the list of LVM
4556 physical volumes, volume groups and logical volumes.");
4557
4558   ("part_del", (RErr, [Device "device"; Int "partnum"]), 233, [],
4559    [InitEmpty, Always, TestRun (
4560       [["part_init"; "/dev/sda"; "mbr"];
4561        ["part_add"; "/dev/sda"; "primary"; "1"; "-1"];
4562        ["part_del"; "/dev/sda"; "1"]])],
4563    "delete a partition",
4564    "\
4565 This command deletes the partition numbered C<partnum> on C<device>.
4566
4567 Note that in the case of MBR partitioning, deleting an
4568 extended partition also deletes any logical partitions
4569 it contains.");
4570
4571   ("part_get_bootable", (RBool "bootable", [Device "device"; Int "partnum"]), 234, [],
4572    [InitEmpty, Always, TestOutputTrue (
4573       [["part_init"; "/dev/sda"; "mbr"];
4574        ["part_add"; "/dev/sda"; "primary"; "1"; "-1"];
4575        ["part_set_bootable"; "/dev/sda"; "1"; "true"];
4576        ["part_get_bootable"; "/dev/sda"; "1"]])],
4577    "return true if a partition is bootable",
4578    "\
4579 This command returns true if the partition C<partnum> on
4580 C<device> has the bootable flag set.
4581
4582 See also C<guestfs_part_set_bootable>.");
4583
4584   ("part_get_mbr_id", (RInt "idbyte", [Device "device"; Int "partnum"]), 235, [FishOutput FishOutputHexadecimal],
4585    [InitEmpty, Always, TestOutputInt (
4586       [["part_init"; "/dev/sda"; "mbr"];
4587        ["part_add"; "/dev/sda"; "primary"; "1"; "-1"];
4588        ["part_set_mbr_id"; "/dev/sda"; "1"; "0x7f"];
4589        ["part_get_mbr_id"; "/dev/sda"; "1"]], 0x7f)],
4590    "get the MBR type byte (ID byte) from a partition",
4591    "\
4592 Returns the MBR type byte (also known as the ID byte) from
4593 the numbered partition C<partnum>.
4594
4595 Note that only MBR (old DOS-style) partitions have type bytes.
4596 You will get undefined results for other partition table
4597 types (see C<guestfs_part_get_parttype>).");
4598
4599   ("part_set_mbr_id", (RErr, [Device "device"; Int "partnum"; Int "idbyte"]), 236, [],
4600    [], (* tested by part_get_mbr_id *)
4601    "set the MBR type byte (ID byte) of a partition",
4602    "\
4603 Sets the MBR type byte (also known as the ID byte) of
4604 the numbered partition C<partnum> to C<idbyte>.  Note
4605 that the type bytes quoted in most documentation are
4606 in fact hexadecimal numbers, but usually documented
4607 without any leading \"0x\" which might be confusing.
4608
4609 Note that only MBR (old DOS-style) partitions have type bytes.
4610 You will get undefined results for other partition table
4611 types (see C<guestfs_part_get_parttype>).");
4612
4613   ("checksum_device", (RString "checksum", [String "csumtype"; Device "device"]), 237, [],
4614    [InitISOFS, Always, TestOutput (
4615       [["checksum_device"; "md5"; "/dev/sdd"]],
4616       (Digest.to_hex (Digest.file "images/test.iso")))],
4617    "compute MD5, SHAx or CRC checksum of the contents of a device",
4618    "\
4619 This call computes the MD5, SHAx or CRC checksum of the
4620 contents of the device named C<device>.  For the types of
4621 checksums supported see the C<guestfs_checksum> command.");
4622
4623   ("lvresize_free", (RErr, [Device "lv"; Int "percent"]), 238, [Optional "lvm2"],
4624    [InitNone, Always, TestRun (
4625       [["part_disk"; "/dev/sda"; "mbr"];
4626        ["pvcreate"; "/dev/sda1"];
4627        ["vgcreate"; "VG"; "/dev/sda1"];
4628        ["lvcreate"; "LV"; "VG"; "10"];
4629        ["lvresize_free"; "/dev/VG/LV"; "100"]])],
4630    "expand an LV to fill free space",
4631    "\
4632 This expands an existing logical volume C<lv> so that it fills
4633 C<pc>% of the remaining free space in the volume group.  Commonly
4634 you would call this with pc = 100 which expands the logical volume
4635 as much as possible, using all remaining free space in the volume
4636 group.");
4637
4638   ("aug_clear", (RErr, [String "augpath"]), 239, [Optional "augeas"],
4639    [], (* XXX Augeas code needs tests. *)
4640    "clear Augeas path",
4641    "\
4642 Set the value associated with C<path> to C<NULL>.  This
4643 is the same as the L<augtool(1)> C<clear> command.");
4644
4645   ("get_umask", (RInt "mask", []), 240, [FishOutput FishOutputOctal],
4646    [InitEmpty, Always, TestOutputInt (
4647       [["get_umask"]], 0o22)],
4648    "get the current umask",
4649    "\
4650 Return the current umask.  By default the umask is C<022>
4651 unless it has been set by calling C<guestfs_umask>.");
4652
4653   ("debug_upload", (RErr, [FileIn "filename"; String "tmpname"; Int "mode"]), 241, [],
4654    [],
4655    "upload a file to the appliance (internal use only)",
4656    "\
4657 The C<guestfs_debug_upload> command uploads a file to
4658 the libguestfs appliance.
4659
4660 There is no comprehensive help for this command.  You have
4661 to look at the file C<daemon/debug.c> in the libguestfs source
4662 to find out what it is for.");
4663
4664   ("base64_in", (RErr, [FileIn "base64file"; Pathname "filename"]), 242, [],
4665    [InitBasicFS, Always, TestOutput (
4666       [["base64_in"; "../images/hello.b64"; "/hello"];
4667        ["cat"; "/hello"]], "hello\n")],
4668    "upload base64-encoded data to file",
4669    "\
4670 This command uploads base64-encoded data from C<base64file>
4671 to C<filename>.");
4672
4673   ("base64_out", (RErr, [Pathname "filename"; FileOut "base64file"]), 243, [],
4674    [],
4675    "download file and encode as base64",
4676    "\
4677 This command downloads the contents of C<filename>, writing
4678 it out to local file C<base64file> encoded as base64.");
4679
4680   ("checksums_out", (RErr, [String "csumtype"; Pathname "directory"; FileOut "sumsfile"]), 244, [],
4681    [],
4682    "compute MD5, SHAx or CRC checksum of files in a directory",
4683    "\
4684 This command computes the checksums of all regular files in
4685 C<directory> and then emits a list of those checksums to
4686 the local output file C<sumsfile>.
4687
4688 This can be used for verifying the integrity of a virtual
4689 machine.  However to be properly secure you should pay
4690 attention to the output of the checksum command (it uses
4691 the ones from GNU coreutils).  In particular when the
4692 filename is not printable, coreutils uses a special
4693 backslash syntax.  For more information, see the GNU
4694 coreutils info file.");
4695
4696   ("fill_pattern", (RErr, [String "pattern"; Int "len"; Pathname "path"]), 245, [],
4697    [InitBasicFS, Always, TestOutputBuffer (
4698       [["fill_pattern"; "abcdefghijklmnopqrstuvwxyz"; "28"; "/test"];
4699        ["read_file"; "/test"]], "abcdefghijklmnopqrstuvwxyzab")],
4700    "fill a file with a repeating pattern of bytes",
4701    "\
4702 This function is like C<guestfs_fill> except that it creates
4703 a new file of length C<len> containing the repeating pattern
4704 of bytes in C<pattern>.  The pattern is truncated if necessary
4705 to ensure the length of the file is exactly C<len> bytes.");
4706
4707   ("write", (RErr, [Pathname "path"; BufferIn "content"]), 246, [ProtocolLimitWarning],
4708    [InitBasicFS, Always, TestOutput (
4709       [["write"; "/new"; "new file contents"];
4710        ["cat"; "/new"]], "new file contents");
4711     InitBasicFS, Always, TestOutput (
4712       [["write"; "/new"; "\nnew file contents\n"];
4713        ["cat"; "/new"]], "\nnew file contents\n");
4714     InitBasicFS, Always, TestOutput (
4715       [["write"; "/new"; "\n\n"];
4716        ["cat"; "/new"]], "\n\n");
4717     InitBasicFS, Always, TestOutput (
4718       [["write"; "/new"; ""];
4719        ["cat"; "/new"]], "");
4720     InitBasicFS, Always, TestOutput (
4721       [["write"; "/new"; "\n\n\n"];
4722        ["cat"; "/new"]], "\n\n\n");
4723     InitBasicFS, Always, TestOutput (
4724       [["write"; "/new"; "\n"];
4725        ["cat"; "/new"]], "\n")],
4726    "create a new file",
4727    "\
4728 This call creates a file called C<path>.  The content of the
4729 file is the string C<content> (which can contain any 8 bit data).");
4730
4731   ("pwrite", (RInt "nbytes", [Pathname "path"; BufferIn "content"; Int64 "offset"]), 247, [ProtocolLimitWarning],
4732    [InitBasicFS, Always, TestOutput (
4733       [["write"; "/new"; "new file contents"];
4734        ["pwrite"; "/new"; "data"; "4"];
4735        ["cat"; "/new"]], "new data contents");
4736     InitBasicFS, Always, TestOutput (
4737       [["write"; "/new"; "new file contents"];
4738        ["pwrite"; "/new"; "is extended"; "9"];
4739        ["cat"; "/new"]], "new file is extended");
4740     InitBasicFS, Always, TestOutput (
4741       [["write"; "/new"; "new file contents"];
4742        ["pwrite"; "/new"; ""; "4"];
4743        ["cat"; "/new"]], "new file contents")],
4744    "write to part of a file",
4745    "\
4746 This command writes to part of a file.  It writes the data
4747 buffer C<content> to the file C<path> starting at offset C<offset>.
4748
4749 This command implements the L<pwrite(2)> system call, and like
4750 that system call it may not write the full data requested.  The
4751 return value is the number of bytes that were actually written
4752 to the file.  This could even be 0, although short writes are
4753 unlikely for regular files in ordinary circumstances.
4754
4755 See also C<guestfs_pread>.");
4756
4757   ("resize2fs_size", (RErr, [Device "device"; Int64 "size"]), 248, [],
4758    [],
4759    "resize an ext2, ext3 or ext4 filesystem (with size)",
4760    "\
4761 This command is the same as C<guestfs_resize2fs> except that it
4762 allows you to specify the new size (in bytes) explicitly.");
4763
4764   ("pvresize_size", (RErr, [Device "device"; Int64 "size"]), 249, [Optional "lvm2"],
4765    [],
4766    "resize an LVM physical volume (with size)",
4767    "\
4768 This command is the same as C<guestfs_pvresize> except that it
4769 allows you to specify the new size (in bytes) explicitly.");
4770
4771   ("ntfsresize_size", (RErr, [Device "device"; Int64 "size"]), 250, [Optional "ntfsprogs"],
4772    [],
4773    "resize an NTFS filesystem (with size)",
4774    "\
4775 This command is the same as C<guestfs_ntfsresize> except that it
4776 allows you to specify the new size (in bytes) explicitly.");
4777
4778   ("available_all_groups", (RStringList "groups", []), 251, [],
4779    [InitNone, Always, TestRun [["available_all_groups"]]],
4780    "return a list of all optional groups",
4781    "\
4782 This command returns a list of all optional groups that this
4783 daemon knows about.  Note this returns both supported and unsupported
4784 groups.  To find out which ones the daemon can actually support
4785 you have to call C<guestfs_available> on each member of the
4786 returned list.
4787
4788 See also C<guestfs_available> and L<guestfs(3)/AVAILABILITY>.");
4789
4790   ("fallocate64", (RErr, [Pathname "path"; Int64 "len"]), 252, [],
4791    [InitBasicFS, Always, TestOutputStruct (
4792       [["fallocate64"; "/a"; "1000000"];
4793        ["stat"; "/a"]], [CompareWithInt ("size", 1_000_000)])],
4794    "preallocate a file in the guest filesystem",
4795    "\
4796 This command preallocates a file (containing zero bytes) named
4797 C<path> of size C<len> bytes.  If the file exists already, it
4798 is overwritten.
4799
4800 Note that this call allocates disk blocks for the file.
4801 To create a sparse file use C<guestfs_truncate_size> instead.
4802
4803 The deprecated call C<guestfs_fallocate> does the same,
4804 but owing to an oversight it only allowed 30 bit lengths
4805 to be specified, effectively limiting the maximum size
4806 of files created through that call to 1GB.
4807
4808 Do not confuse this with the guestfish-specific
4809 C<alloc> and C<sparse> commands which create
4810 a file in the host and attach it as a device.");
4811
4812   ("vfs_label", (RString "label", [Device "device"]), 253, [],
4813    [InitBasicFS, Always, TestOutput (
4814        [["set_e2label"; "/dev/sda1"; "LTEST"];
4815         ["vfs_label"; "/dev/sda1"]], "LTEST")],
4816    "get the filesystem label",
4817    "\
4818 This returns the filesystem label of the filesystem on
4819 C<device>.
4820
4821 If the filesystem is unlabeled, this returns the empty string.");
4822
4823   ("vfs_uuid", (RString "uuid", [Device "device"]), 254, [],
4824    (let uuid = uuidgen () in
4825     [InitBasicFS, Always, TestOutput (
4826        [["set_e2uuid"; "/dev/sda1"; uuid];
4827         ["vfs_uuid"; "/dev/sda1"]], uuid)]),
4828    "get the filesystem UUID",
4829    "\
4830 This returns the filesystem UUID of the filesystem on
4831 C<device>.
4832
4833 If the filesystem does not have a UUID, this returns the empty string.");
4834
4835 ]
4836
4837 let all_functions = non_daemon_functions @ daemon_functions
4838
4839 (* In some places we want the functions to be displayed sorted
4840  * alphabetically, so this is useful:
4841  *)
4842 let all_functions_sorted =
4843   List.sort (fun (n1,_,_,_,_,_,_) (n2,_,_,_,_,_,_) ->
4844                compare n1 n2) all_functions
4845
4846 (* This is used to generate the src/MAX_PROC_NR file which
4847  * contains the maximum procedure number, a surrogate for the
4848  * ABI version number.  See src/Makefile.am for the details.
4849  *)
4850 let max_proc_nr =
4851   let proc_nrs = List.map (
4852     fun (_, _, proc_nr, _, _, _, _) -> proc_nr
4853   ) daemon_functions in
4854   List.fold_left max 0 proc_nrs
4855
4856 (* Field types for structures. *)
4857 type field =
4858   | FChar                       (* C 'char' (really, a 7 bit byte). *)
4859   | FString                     (* nul-terminated ASCII string, NOT NULL. *)
4860   | FBuffer                     (* opaque buffer of bytes, (char *, int) pair *)
4861   | FUInt32
4862   | FInt32
4863   | FUInt64
4864   | FInt64
4865   | FBytes                      (* Any int measure that counts bytes. *)
4866   | FUUID                       (* 32 bytes long, NOT nul-terminated. *)
4867   | FOptPercent                 (* [0..100], or -1 meaning "not present". *)
4868
4869 (* Because we generate extra parsing code for LVM command line tools,
4870  * we have to pull out the LVM columns separately here.
4871  *)
4872 let lvm_pv_cols = [
4873   "pv_name", FString;
4874   "pv_uuid", FUUID;
4875   "pv_fmt", FString;
4876   "pv_size", FBytes;
4877   "dev_size", FBytes;
4878   "pv_free", FBytes;
4879   "pv_used", FBytes;
4880   "pv_attr", FString (* XXX *);
4881   "pv_pe_count", FInt64;
4882   "pv_pe_alloc_count", FInt64;
4883   "pv_tags", FString;
4884   "pe_start", FBytes;
4885   "pv_mda_count", FInt64;
4886   "pv_mda_free", FBytes;
4887   (* Not in Fedora 10:
4888      "pv_mda_size", FBytes;
4889   *)
4890 ]
4891 let lvm_vg_cols = [
4892   "vg_name", FString;
4893   "vg_uuid", FUUID;
4894   "vg_fmt", FString;
4895   "vg_attr", FString (* XXX *);
4896   "vg_size", FBytes;
4897   "vg_free", FBytes;
4898   "vg_sysid", FString;
4899   "vg_extent_size", FBytes;
4900   "vg_extent_count", FInt64;
4901   "vg_free_count", FInt64;
4902   "max_lv", FInt64;
4903   "max_pv", FInt64;
4904   "pv_count", FInt64;
4905   "lv_count", FInt64;
4906   "snap_count", FInt64;
4907   "vg_seqno", FInt64;
4908   "vg_tags", FString;
4909   "vg_mda_count", FInt64;
4910   "vg_mda_free", FBytes;
4911   (* Not in Fedora 10:
4912      "vg_mda_size", FBytes;
4913   *)
4914 ]
4915 let lvm_lv_cols = [
4916   "lv_name", FString;
4917   "lv_uuid", FUUID;
4918   "lv_attr", FString (* XXX *);
4919   "lv_major", FInt64;
4920   "lv_minor", FInt64;
4921   "lv_kernel_major", FInt64;
4922   "lv_kernel_minor", FInt64;
4923   "lv_size", FBytes;
4924   "seg_count", FInt64;
4925   "origin", FString;
4926   "snap_percent", FOptPercent;
4927   "copy_percent", FOptPercent;
4928   "move_pv", FString;
4929   "lv_tags", FString;
4930   "mirror_log", FString;
4931   "modules", FString;
4932 ]
4933
4934 (* Names and fields in all structures (in RStruct and RStructList)
4935  * that we support.
4936  *)
4937 let structs = [
4938   (* The old RIntBool return type, only ever used for aug_defnode.  Do
4939    * not use this struct in any new code.
4940    *)
4941   "int_bool", [
4942     "i", FInt32;                (* for historical compatibility *)
4943     "b", FInt32;                (* for historical compatibility *)
4944   ];
4945
4946   (* LVM PVs, VGs, LVs. *)
4947   "lvm_pv", lvm_pv_cols;
4948   "lvm_vg", lvm_vg_cols;
4949   "lvm_lv", lvm_lv_cols;
4950
4951   (* Column names and types from stat structures.
4952    * NB. Can't use things like 'st_atime' because glibc header files
4953    * define some of these as macros.  Ugh.
4954    *)
4955   "stat", [
4956     "dev", FInt64;
4957     "ino", FInt64;
4958     "mode", FInt64;
4959     "nlink", FInt64;
4960     "uid", FInt64;
4961     "gid", FInt64;
4962     "rdev", FInt64;
4963     "size", FInt64;
4964     "blksize", FInt64;
4965     "blocks", FInt64;
4966     "atime", FInt64;
4967     "mtime", FInt64;
4968     "ctime", FInt64;
4969   ];
4970   "statvfs", [
4971     "bsize", FInt64;
4972     "frsize", FInt64;
4973     "blocks", FInt64;
4974     "bfree", FInt64;
4975     "bavail", FInt64;
4976     "files", FInt64;
4977     "ffree", FInt64;
4978     "favail", FInt64;
4979     "fsid", FInt64;
4980     "flag", FInt64;
4981     "namemax", FInt64;
4982   ];
4983
4984   (* Column names in dirent structure. *)
4985   "dirent", [
4986     "ino", FInt64;
4987     (* 'b' 'c' 'd' 'f' (FIFO) 'l' 'r' (regular file) 's' 'u' '?' *)
4988     "ftyp", FChar;
4989     "name", FString;
4990   ];
4991
4992   (* Version numbers. *)
4993   "version", [
4994     "major", FInt64;
4995     "minor", FInt64;
4996     "release", FInt64;
4997     "extra", FString;
4998   ];
4999
5000   (* Extended attribute. *)
5001   "xattr", [
5002     "attrname", FString;
5003     "attrval", FBuffer;
5004   ];
5005
5006   (* Inotify events. *)
5007   "inotify_event", [
5008     "in_wd", FInt64;
5009     "in_mask", FUInt32;
5010     "in_cookie", FUInt32;
5011     "in_name", FString;
5012   ];
5013
5014   (* Partition table entry. *)
5015   "partition", [
5016     "part_num", FInt32;
5017     "part_start", FBytes;
5018     "part_end", FBytes;
5019     "part_size", FBytes;
5020   ];
5021 ] (* end of structs *)
5022
5023 (* Ugh, Java has to be different ..
5024  * These names are also used by the Haskell bindings.
5025  *)
5026 let java_structs = [
5027   "int_bool", "IntBool";
5028   "lvm_pv", "PV";
5029   "lvm_vg", "VG";
5030   "lvm_lv", "LV";
5031   "stat", "Stat";
5032   "statvfs", "StatVFS";
5033   "dirent", "Dirent";
5034   "version", "Version";
5035   "xattr", "XAttr";
5036   "inotify_event", "INotifyEvent";
5037   "partition", "Partition";
5038 ]
5039
5040 (* What structs are actually returned. *)
5041 type rstructs_used_t = RStructOnly | RStructListOnly | RStructAndList
5042
5043 (* Returns a list of RStruct/RStructList structs that are returned
5044  * by any function.  Each element of returned list is a pair:
5045  *
5046  * (structname, RStructOnly)
5047  *    == there exists function which returns RStruct (_, structname)
5048  * (structname, RStructListOnly)
5049  *    == there exists function which returns RStructList (_, structname)
5050  * (structname, RStructAndList)
5051  *    == there are functions returning both RStruct (_, structname)
5052  *                                      and RStructList (_, structname)
5053  *)
5054 let rstructs_used_by functions =
5055   (* ||| is a "logical OR" for rstructs_used_t *)
5056   let (|||) a b =
5057     match a, b with
5058     | RStructAndList, _
5059     | _, RStructAndList -> RStructAndList
5060     | RStructOnly, RStructListOnly
5061     | RStructListOnly, RStructOnly -> RStructAndList
5062     | RStructOnly, RStructOnly -> RStructOnly
5063     | RStructListOnly, RStructListOnly -> RStructListOnly
5064   in
5065
5066   let h = Hashtbl.create 13 in
5067
5068   (* if elem->oldv exists, update entry using ||| operator,
5069    * else just add elem->newv to the hash
5070    *)
5071   let update elem newv =
5072     try  let oldv = Hashtbl.find h elem in
5073          Hashtbl.replace h elem (newv ||| oldv)
5074     with Not_found -> Hashtbl.add h elem newv
5075   in
5076
5077   List.iter (
5078     fun (_, style, _, _, _, _, _) ->
5079       match fst style with
5080       | RStruct (_, structname) -> update structname RStructOnly
5081       | RStructList (_, structname) -> update structname RStructListOnly
5082       | _ -> ()
5083   ) functions;
5084
5085   (* return key->values as a list of (key,value) *)
5086   Hashtbl.fold (fun key value xs -> (key, value) :: xs) h []
5087
5088 (* Used for testing language bindings. *)
5089 type callt =
5090   | CallString of string
5091   | CallOptString of string option
5092   | CallStringList of string list
5093   | CallInt of int
5094   | CallInt64 of int64
5095   | CallBool of bool
5096   | CallBuffer of string
5097
5098 (* Used to memoize the result of pod2text. *)
5099 let pod2text_memo_filename = "src/.pod2text.data"
5100 let pod2text_memo : ((int * string * string), string list) Hashtbl.t =
5101   try
5102     let chan = open_in pod2text_memo_filename in
5103     let v = input_value chan in
5104     close_in chan;
5105     v
5106   with
5107     _ -> Hashtbl.create 13
5108 let pod2text_memo_updated () =
5109   let chan = open_out pod2text_memo_filename in
5110   output_value chan pod2text_memo;
5111   close_out chan
5112
5113 (* Useful functions.
5114  * Note we don't want to use any external OCaml libraries which
5115  * makes this a bit harder than it should be.
5116  *)
5117 module StringMap = Map.Make (String)
5118
5119 let failwithf fs = ksprintf failwith fs
5120
5121 let unique = let i = ref 0 in fun () -> incr i; !i
5122
5123 let replace_char s c1 c2 =
5124   let s2 = String.copy s in
5125   let r = ref false in
5126   for i = 0 to String.length s2 - 1 do
5127     if String.unsafe_get s2 i = c1 then (
5128       String.unsafe_set s2 i c2;
5129       r := true
5130     )
5131   done;
5132   if not !r then s else s2
5133
5134 let isspace c =
5135   c = ' '
5136   (* || c = '\f' *) || c = '\n' || c = '\r' || c = '\t' (* || c = '\v' *)
5137
5138 let triml ?(test = isspace) str =
5139   let i = ref 0 in
5140   let n = ref (String.length str) in
5141   while !n > 0 && test str.[!i]; do
5142     decr n;
5143     incr i
5144   done;
5145   if !i = 0 then str
5146   else String.sub str !i !n
5147
5148 let trimr ?(test = isspace) str =
5149   let n = ref (String.length str) in
5150   while !n > 0 && test str.[!n-1]; do
5151     decr n
5152   done;
5153   if !n = String.length str then str
5154   else String.sub str 0 !n
5155
5156 let trim ?(test = isspace) str =
5157   trimr ~test (triml ~test str)
5158
5159 let rec find s sub =
5160   let len = String.length s in
5161   let sublen = String.length sub in
5162   let rec loop i =
5163     if i <= len-sublen then (
5164       let rec loop2 j =
5165         if j < sublen then (
5166           if s.[i+j] = sub.[j] then loop2 (j+1)
5167           else -1
5168         ) else
5169           i (* found *)
5170       in
5171       let r = loop2 0 in
5172       if r = -1 then loop (i+1) else r
5173     ) else
5174       -1 (* not found *)
5175   in
5176   loop 0
5177
5178 let rec replace_str s s1 s2 =
5179   let len = String.length s in
5180   let sublen = String.length s1 in
5181   let i = find s s1 in
5182   if i = -1 then s
5183   else (
5184     let s' = String.sub s 0 i in
5185     let s'' = String.sub s (i+sublen) (len-i-sublen) in
5186     s' ^ s2 ^ replace_str s'' s1 s2
5187   )
5188
5189 let rec string_split sep str =
5190   let len = String.length str in
5191   let seplen = String.length sep in
5192   let i = find str sep in
5193   if i = -1 then [str]
5194   else (
5195     let s' = String.sub str 0 i in
5196     let s'' = String.sub str (i+seplen) (len-i-seplen) in
5197     s' :: string_split sep s''
5198   )
5199
5200 let files_equal n1 n2 =
5201   let cmd = sprintf "cmp -s %s %s" (Filename.quote n1) (Filename.quote n2) in
5202   match Sys.command cmd with
5203   | 0 -> true
5204   | 1 -> false
5205   | i -> failwithf "%s: failed with error code %d" cmd i
5206
5207 let rec filter_map f = function
5208   | [] -> []
5209   | x :: xs ->
5210       match f x with
5211       | Some y -> y :: filter_map f xs
5212       | None -> filter_map f xs
5213
5214 let rec find_map f = function
5215   | [] -> raise Not_found
5216   | x :: xs ->
5217       match f x with
5218       | Some y -> y
5219       | None -> find_map f xs
5220
5221 let iteri f xs =
5222   let rec loop i = function
5223     | [] -> ()
5224     | x :: xs -> f i x; loop (i+1) xs
5225   in
5226   loop 0 xs
5227
5228 let mapi f xs =
5229   let rec loop i = function
5230     | [] -> []
5231     | x :: xs -> let r = f i x in r :: loop (i+1) xs
5232   in
5233   loop 0 xs
5234
5235 let count_chars c str =
5236   let count = ref 0 in
5237   for i = 0 to String.length str - 1 do
5238     if c = String.unsafe_get str i then incr count
5239   done;
5240   !count
5241
5242 let explode str =
5243   let r = ref [] in
5244   for i = 0 to String.length str - 1 do
5245     let c = String.unsafe_get str i in
5246     r := c :: !r;
5247   done;
5248   List.rev !r
5249
5250 let map_chars f str =
5251   List.map f (explode str)
5252
5253 let name_of_argt = function
5254   | Pathname n | Device n | Dev_or_Path n | String n | OptString n
5255   | StringList n | DeviceList n | Bool n | Int n | Int64 n
5256   | FileIn n | FileOut n | BufferIn n -> n
5257
5258 let java_name_of_struct typ =
5259   try List.assoc typ java_structs
5260   with Not_found ->
5261     failwithf
5262       "java_name_of_struct: no java_structs entry corresponding to %s" typ
5263
5264 let cols_of_struct typ =
5265   try List.assoc typ structs
5266   with Not_found ->
5267     failwithf "cols_of_struct: unknown struct %s" typ
5268
5269 let seq_of_test = function
5270   | TestRun s | TestOutput (s, _) | TestOutputList (s, _)
5271   | TestOutputListOfDevices (s, _)
5272   | TestOutputInt (s, _) | TestOutputIntOp (s, _, _)
5273   | TestOutputTrue s | TestOutputFalse s
5274   | TestOutputLength (s, _) | TestOutputBuffer (s, _)
5275   | TestOutputStruct (s, _)
5276   | TestLastFail s -> s
5277
5278 (* Handling for function flags. *)
5279 let protocol_limit_warning =
5280   "Because of the message protocol, there is a transfer limit
5281 of somewhere between 2MB and 4MB.  See L<guestfs(3)/PROTOCOL LIMITS>."
5282
5283 let danger_will_robinson =
5284   "B<This command is dangerous.  Without careful use you
5285 can easily destroy all your data>."
5286
5287 let deprecation_notice flags =
5288   try
5289     let alt =
5290       find_map (function DeprecatedBy str -> Some str | _ -> None) flags in
5291     let txt =
5292       sprintf "This function is deprecated.
5293 In new code, use the C<%s> call instead.
5294
5295 Deprecated functions will not be removed from the API, but the
5296 fact that they are deprecated indicates that there are problems
5297 with correct use of these functions." alt in
5298     Some txt
5299   with
5300     Not_found -> None
5301
5302 (* Create list of optional groups. *)
5303 let optgroups =
5304   let h = Hashtbl.create 13 in
5305   List.iter (
5306     fun (name, _, _, flags, _, _, _) ->
5307       List.iter (
5308         function
5309         | Optional group ->
5310             let names = try Hashtbl.find h group with Not_found -> [] in
5311             Hashtbl.replace h group (name :: names)
5312         | _ -> ()
5313       ) flags
5314   ) daemon_functions;
5315   let groups = Hashtbl.fold (fun k _ ks -> k :: ks) h [] in
5316   let groups =
5317     List.map (
5318       fun group -> group, List.sort compare (Hashtbl.find h group)
5319     ) groups in
5320   List.sort (fun x y -> compare (fst x) (fst y)) groups
5321
5322 (* Check function names etc. for consistency. *)
5323 let check_functions () =
5324   let contains_uppercase str =
5325     let len = String.length str in
5326     let rec loop i =
5327       if i >= len then false
5328       else (
5329         let c = str.[i] in
5330         if c >= 'A' && c <= 'Z' then true
5331         else loop (i+1)
5332       )
5333     in
5334     loop 0
5335   in
5336
5337   (* Check function names. *)
5338   List.iter (
5339     fun (name, _, _, _, _, _, _) ->
5340       if String.length name >= 7 && String.sub name 0 7 = "guestfs" then
5341         failwithf "function name %s does not need 'guestfs' prefix" name;
5342       if name = "" then
5343         failwithf "function name is empty";
5344       if name.[0] < 'a' || name.[0] > 'z' then
5345         failwithf "function name %s must start with lowercase a-z" name;
5346       if String.contains name '-' then
5347         failwithf "function name %s should not contain '-', use '_' instead."
5348           name
5349   ) all_functions;
5350
5351   (* Check function parameter/return names. *)
5352   List.iter (
5353     fun (name, style, _, _, _, _, _) ->
5354       let check_arg_ret_name n =
5355         if contains_uppercase n then
5356           failwithf "%s param/ret %s should not contain uppercase chars"
5357             name n;
5358         if String.contains n '-' || String.contains n '_' then
5359           failwithf "%s param/ret %s should not contain '-' or '_'"
5360             name n;
5361         if n = "value" then
5362           failwithf "%s has a param/ret called 'value', which causes conflicts in the OCaml bindings, use something like 'val' or a more descriptive name" name;
5363         if n = "int" || n = "char" || n = "short" || n = "long" then
5364           failwithf "%s has a param/ret which conflicts with a C type (eg. 'int', 'char' etc.)" name;
5365         if n = "i" || n = "n" then
5366           failwithf "%s has a param/ret called 'i' or 'n', which will cause some conflicts in the generated code" name;
5367         if n = "argv" || n = "args" then
5368           failwithf "%s has a param/ret called 'argv' or 'args', which will cause some conflicts in the generated code" name;
5369
5370         (* List Haskell, OCaml and C keywords here.
5371          * http://www.haskell.org/haskellwiki/Keywords
5372          * http://caml.inria.fr/pub/docs/manual-ocaml/lex.html#operator-char
5373          * http://en.wikipedia.org/wiki/C_syntax#Reserved_keywords
5374          * Formatted via: cat c haskell ocaml|sort -u|grep -vE '_|^val$' \
5375          *   |perl -pe 's/(.+)/"$1";/'|fmt -70
5376          * Omitting _-containing words, since they're handled above.
5377          * Omitting the OCaml reserved word, "val", is ok,
5378          * and saves us from renaming several parameters.
5379          *)
5380         let reserved = [
5381           "and"; "as"; "asr"; "assert"; "auto"; "begin"; "break"; "case";
5382           "char"; "class"; "const"; "constraint"; "continue"; "data";
5383           "default"; "deriving"; "do"; "done"; "double"; "downto"; "else";
5384           "end"; "enum"; "exception"; "extern"; "external"; "false"; "float";
5385           "for"; "forall"; "foreign"; "fun"; "function"; "functor"; "goto";
5386           "hiding"; "if"; "import"; "in"; "include"; "infix"; "infixl";
5387           "infixr"; "inherit"; "initializer"; "inline"; "instance"; "int";
5388           "interface";
5389           "land"; "lazy"; "let"; "long"; "lor"; "lsl"; "lsr"; "lxor";
5390           "match"; "mdo"; "method"; "mod"; "module"; "mutable"; "new";
5391           "newtype"; "object"; "of"; "open"; "or"; "private"; "qualified";
5392           "rec"; "register"; "restrict"; "return"; "short"; "sig"; "signed";
5393           "sizeof"; "static"; "struct"; "switch"; "then"; "to"; "true"; "try";
5394           "type"; "typedef"; "union"; "unsigned"; "virtual"; "void";
5395           "volatile"; "when"; "where"; "while";
5396           ] in
5397         if List.mem n reserved then
5398           failwithf "%s has param/ret using reserved word %s" name n;
5399       in
5400
5401       (match fst style with
5402        | RErr -> ()
5403        | RInt n | RInt64 n | RBool n
5404        | RConstString n | RConstOptString n | RString n
5405        | RStringList n | RStruct (n, _) | RStructList (n, _)
5406        | RHashtable n | RBufferOut n ->
5407            check_arg_ret_name n
5408       );
5409       List.iter (fun arg -> check_arg_ret_name (name_of_argt arg)) (snd style)
5410   ) all_functions;
5411
5412   (* Check short descriptions. *)
5413   List.iter (
5414     fun (name, _, _, _, _, shortdesc, _) ->
5415       if shortdesc.[0] <> Char.lowercase shortdesc.[0] then
5416         failwithf "short description of %s should begin with lowercase." name;
5417       let c = shortdesc.[String.length shortdesc-1] in
5418       if c = '\n' || c = '.' then
5419         failwithf "short description of %s should not end with . or \\n." name
5420   ) all_functions;
5421
5422   (* Check long descriptions. *)
5423   List.iter (
5424     fun (name, _, _, _, _, _, longdesc) ->
5425       if longdesc.[String.length longdesc-1] = '\n' then
5426         failwithf "long description of %s should not end with \\n." name
5427   ) all_functions;
5428
5429   (* Check proc_nrs. *)
5430   List.iter (
5431     fun (name, _, proc_nr, _, _, _, _) ->
5432       if proc_nr <= 0 then
5433         failwithf "daemon function %s should have proc_nr > 0" name
5434   ) daemon_functions;
5435
5436   List.iter (
5437     fun (name, _, proc_nr, _, _, _, _) ->
5438       if proc_nr <> -1 then
5439         failwithf "non-daemon function %s should have proc_nr -1" name
5440   ) non_daemon_functions;
5441
5442   let proc_nrs =
5443     List.map (fun (name, _, proc_nr, _, _, _, _) -> name, proc_nr)
5444       daemon_functions in
5445   let proc_nrs =
5446     List.sort (fun (_,nr1) (_,nr2) -> compare nr1 nr2) proc_nrs in
5447   let rec loop = function
5448     | [] -> ()
5449     | [_] -> ()
5450     | (name1,nr1) :: ((name2,nr2) :: _ as rest) when nr1 < nr2 ->
5451         loop rest
5452     | (name1,nr1) :: (name2,nr2) :: _ ->
5453         failwithf "%s and %s have conflicting procedure numbers (%d, %d)"
5454           name1 name2 nr1 nr2
5455   in
5456   loop proc_nrs;
5457
5458   (* Check tests. *)
5459   List.iter (
5460     function
5461       (* Ignore functions that have no tests.  We generate a
5462        * warning when the user does 'make check' instead.
5463        *)
5464     | name, _, _, _, [], _, _ -> ()
5465     | name, _, _, _, tests, _, _ ->
5466         let funcs =
5467           List.map (
5468             fun (_, _, test) ->
5469               match seq_of_test test with
5470               | [] ->
5471                   failwithf "%s has a test containing an empty sequence" name
5472               | cmds -> List.map List.hd cmds
5473           ) tests in
5474         let funcs = List.flatten funcs in
5475
5476         let tested = List.mem name funcs in
5477
5478         if not tested then
5479           failwithf "function %s has tests but does not test itself" name
5480   ) all_functions
5481
5482 (* 'pr' prints to the current output file. *)
5483 let chan = ref Pervasives.stdout
5484 let lines = ref 0
5485 let pr fs =
5486   ksprintf
5487     (fun str ->
5488        let i = count_chars '\n' str in
5489        lines := !lines + i;
5490        output_string !chan str
5491     ) fs
5492
5493 let copyright_years =
5494   let this_year = 1900 + (localtime (time ())).tm_year in
5495   if this_year > 2009 then sprintf "2009-%04d" this_year else "2009"
5496
5497 (* Generate a header block in a number of standard styles. *)
5498 type comment_style =
5499     CStyle | CPlusPlusStyle | HashStyle | OCamlStyle | HaskellStyle
5500 type license = GPLv2plus | LGPLv2plus
5501
5502 let generate_header ?(extra_inputs = []) comment license =
5503   let inputs = "src/generator.ml" :: extra_inputs in
5504   let c = match comment with
5505     | CStyle ->         pr "/* "; " *"
5506     | CPlusPlusStyle -> pr "// "; "//"
5507     | HashStyle ->      pr "# ";  "#"
5508     | OCamlStyle ->     pr "(* "; " *"
5509     | HaskellStyle ->   pr "{- "; "  " in
5510   pr "libguestfs generated file\n";
5511   pr "%s WARNING: THIS FILE IS GENERATED FROM:\n" c;
5512   List.iter (pr "%s   %s\n" c) inputs;
5513   pr "%s ANY CHANGES YOU MAKE TO THIS FILE WILL BE LOST.\n" c;
5514   pr "%s\n" c;
5515   pr "%s Copyright (C) %s Red Hat Inc.\n" c copyright_years;
5516   pr "%s\n" c;
5517   (match license with
5518    | GPLv2plus ->
5519        pr "%s This program is free software; you can redistribute it and/or modify\n" c;
5520        pr "%s it under the terms of the GNU General Public License as published by\n" c;
5521        pr "%s the Free Software Foundation; either version 2 of the License, or\n" c;
5522        pr "%s (at your option) any later version.\n" c;
5523        pr "%s\n" c;
5524        pr "%s This program is distributed in the hope that it will be useful,\n" c;
5525        pr "%s but WITHOUT ANY WARRANTY; without even the implied warranty of\n" c;
5526        pr "%s MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the\n" c;
5527        pr "%s GNU General Public License for more details.\n" c;
5528        pr "%s\n" c;
5529        pr "%s You should have received a copy of the GNU General Public License along\n" c;
5530        pr "%s with this program; if not, write to the Free Software Foundation, Inc.,\n" c;
5531        pr "%s 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.\n" c;
5532
5533    | LGPLv2plus ->
5534        pr "%s This library is free software; you can redistribute it and/or\n" c;
5535        pr "%s modify it under the terms of the GNU Lesser General Public\n" c;
5536        pr "%s License as published by the Free Software Foundation; either\n" c;
5537        pr "%s version 2 of the License, or (at your option) any later version.\n" c;
5538        pr "%s\n" c;
5539        pr "%s This library is distributed in the hope that it will be useful,\n" c;
5540        pr "%s but WITHOUT ANY WARRANTY; without even the implied warranty of\n" c;
5541        pr "%s MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU\n" c;
5542        pr "%s Lesser General Public License for more details.\n" c;
5543        pr "%s\n" c;
5544        pr "%s You should have received a copy of the GNU Lesser General Public\n" c;
5545        pr "%s License along with this library; if not, write to the Free Software\n" c;
5546        pr "%s Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA\n" c;
5547   );
5548   (match comment with
5549    | CStyle -> pr " */\n"
5550    | CPlusPlusStyle
5551    | HashStyle -> ()
5552    | OCamlStyle -> pr " *)\n"
5553    | HaskellStyle -> pr "-}\n"
5554   );
5555   pr "\n"
5556
5557 (* Start of main code generation functions below this line. *)
5558
5559 (* Generate the pod documentation for the C API. *)
5560 let rec generate_actions_pod () =
5561   List.iter (
5562     fun (shortname, style, _, flags, _, _, longdesc) ->
5563       if not (List.mem NotInDocs flags) then (
5564         let name = "guestfs_" ^ shortname in
5565         pr "=head2 %s\n\n" name;
5566         pr " ";
5567         generate_prototype ~extern:false ~handle:"g" name style;
5568         pr "\n\n";
5569         pr "%s\n\n" longdesc;
5570         (match fst style with
5571          | RErr ->
5572              pr "This function returns 0 on success or -1 on error.\n\n"
5573          | RInt _ ->
5574              pr "On error this function returns -1.\n\n"
5575          | RInt64 _ ->
5576              pr "On error this function returns -1.\n\n"
5577          | RBool _ ->
5578              pr "This function returns a C truth value on success or -1 on error.\n\n"
5579          | RConstString _ ->
5580              pr "This function returns a string, or NULL on error.
5581 The string is owned by the guest handle and must I<not> be freed.\n\n"
5582          | RConstOptString _ ->
5583              pr "This function returns a string which may be NULL.
5584 There is way to return an error from this function.
5585 The string is owned by the guest handle and must I<not> be freed.\n\n"
5586          | RString _ ->
5587              pr "This function returns a string, or NULL on error.
5588 I<The caller must free the returned string after use>.\n\n"
5589          | RStringList _ ->
5590              pr "This function returns a NULL-terminated array of strings
5591 (like L<environ(3)>), or NULL if there was an error.
5592 I<The caller must free the strings and the array after use>.\n\n"
5593          | RStruct (_, typ) ->
5594              pr "This function returns a C<struct guestfs_%s *>,
5595 or NULL if there was an error.
5596 I<The caller must call C<guestfs_free_%s> after use>.\n\n" typ typ
5597          | RStructList (_, typ) ->
5598              pr "This function returns a C<struct guestfs_%s_list *>
5599 (see E<lt>guestfs-structs.hE<gt>),
5600 or NULL if there was an error.
5601 I<The caller must call C<guestfs_free_%s_list> after use>.\n\n" typ typ
5602          | RHashtable _ ->
5603              pr "This function returns a NULL-terminated array of
5604 strings, or NULL if there was an error.
5605 The array of strings will always have length C<2n+1>, where
5606 C<n> keys and values alternate, followed by the trailing NULL entry.
5607 I<The caller must free the strings and the array after use>.\n\n"
5608          | RBufferOut _ ->
5609              pr "This function returns a buffer, or NULL on error.
5610 The size of the returned buffer is written to C<*size_r>.
5611 I<The caller must free the returned buffer after use>.\n\n"
5612         );
5613         if List.mem ProtocolLimitWarning flags then
5614           pr "%s\n\n" protocol_limit_warning;
5615         if List.mem DangerWillRobinson flags then
5616           pr "%s\n\n" danger_will_robinson;
5617         match deprecation_notice flags with
5618         | None -> ()
5619         | Some txt -> pr "%s\n\n" txt
5620       )
5621   ) all_functions_sorted
5622
5623 and generate_structs_pod () =
5624   (* Structs documentation. *)
5625   List.iter (
5626     fun (typ, cols) ->
5627       pr "=head2 guestfs_%s\n" typ;
5628       pr "\n";
5629       pr " struct guestfs_%s {\n" typ;
5630       List.iter (
5631         function
5632         | name, FChar -> pr "   char %s;\n" name
5633         | name, FUInt32 -> pr "   uint32_t %s;\n" name
5634         | name, FInt32 -> pr "   int32_t %s;\n" name
5635         | name, (FUInt64|FBytes) -> pr "   uint64_t %s;\n" name
5636         | name, FInt64 -> pr "   int64_t %s;\n" name
5637         | name, FString -> pr "   char *%s;\n" name
5638         | name, FBuffer ->
5639             pr "   /* The next two fields describe a byte array. */\n";
5640             pr "   uint32_t %s_len;\n" name;
5641             pr "   char *%s;\n" name
5642         | name, FUUID ->
5643             pr "   /* The next field is NOT nul-terminated, be careful when printing it: */\n";
5644             pr "   char %s[32];\n" name
5645         | name, FOptPercent ->
5646             pr "   /* The next field is [0..100] or -1 meaning 'not present': */\n";
5647             pr "   float %s;\n" name
5648       ) cols;
5649       pr " };\n";
5650       pr " \n";
5651       pr " struct guestfs_%s_list {\n" typ;
5652       pr "   uint32_t len; /* Number of elements in list. */\n";
5653       pr "   struct guestfs_%s *val; /* Elements. */\n" typ;
5654       pr " };\n";
5655       pr " \n";
5656       pr " void guestfs_free_%s (struct guestfs_free_%s *);\n" typ typ;
5657       pr " void guestfs_free_%s_list (struct guestfs_free_%s_list *);\n"
5658         typ typ;
5659       pr "\n"
5660   ) structs
5661
5662 and generate_availability_pod () =
5663   (* Availability documentation. *)
5664   pr "=over 4\n";
5665   pr "\n";
5666   List.iter (
5667     fun (group, functions) ->
5668       pr "=item B<%s>\n" group;
5669       pr "\n";
5670       pr "The following functions:\n";
5671       List.iter (pr "L</guestfs_%s>\n") functions;
5672       pr "\n"
5673   ) optgroups;
5674   pr "=back\n";
5675   pr "\n"
5676
5677 (* Generate the protocol (XDR) file, 'guestfs_protocol.x' and
5678  * indirectly 'guestfs_protocol.h' and 'guestfs_protocol.c'.
5679  *
5680  * We have to use an underscore instead of a dash because otherwise
5681  * rpcgen generates incorrect code.
5682  *
5683  * This header is NOT exported to clients, but see also generate_structs_h.
5684  *)
5685 and generate_xdr () =
5686   generate_header CStyle LGPLv2plus;
5687
5688   (* This has to be defined to get around a limitation in Sun's rpcgen. *)
5689   pr "typedef string str<>;\n";
5690   pr "\n";
5691
5692   (* Internal structures. *)
5693   List.iter (
5694     function
5695     | typ, cols ->
5696         pr "struct guestfs_int_%s {\n" typ;
5697         List.iter (function
5698                    | name, FChar -> pr "  char %s;\n" name
5699                    | name, FString -> pr "  string %s<>;\n" name
5700                    | name, FBuffer -> pr "  opaque %s<>;\n" name
5701                    | name, FUUID -> pr "  opaque %s[32];\n" name
5702                    | name, (FInt32|FUInt32) -> pr "  int %s;\n" name
5703                    | name, (FInt64|FUInt64|FBytes) -> pr "  hyper %s;\n" name
5704                    | name, FOptPercent -> pr "  float %s;\n" name
5705                   ) cols;
5706         pr "};\n";
5707         pr "\n";
5708         pr "typedef struct guestfs_int_%s guestfs_int_%s_list<>;\n" typ typ;
5709         pr "\n";
5710   ) structs;
5711
5712   List.iter (
5713     fun (shortname, style, _, _, _, _, _) ->
5714       let name = "guestfs_" ^ shortname in
5715
5716       (match snd style with
5717        | [] -> ()
5718        | args ->
5719            pr "struct %s_args {\n" name;
5720            List.iter (
5721              function
5722              | Pathname n | Device n | Dev_or_Path n | String n ->
5723                  pr "  string %s<>;\n" n
5724              | OptString n -> pr "  str *%s;\n" n
5725              | StringList n | DeviceList n -> pr "  str %s<>;\n" n
5726              | Bool n -> pr "  bool %s;\n" n
5727              | Int n -> pr "  int %s;\n" n
5728              | Int64 n -> pr "  hyper %s;\n" n
5729              | BufferIn n ->
5730                  pr "  opaque %s<>;\n" n
5731              | FileIn _ | FileOut _ -> ()
5732            ) args;
5733            pr "};\n\n"
5734       );
5735       (match fst style with
5736        | RErr -> ()
5737        | RInt n ->
5738            pr "struct %s_ret {\n" name;
5739            pr "  int %s;\n" n;
5740            pr "};\n\n"
5741        | RInt64 n ->
5742            pr "struct %s_ret {\n" name;
5743            pr "  hyper %s;\n" n;
5744            pr "};\n\n"
5745        | RBool n ->
5746            pr "struct %s_ret {\n" name;
5747            pr "  bool %s;\n" n;
5748            pr "};\n\n"
5749        | RConstString _ | RConstOptString _ ->
5750            failwithf "RConstString|RConstOptString cannot be used by daemon functions"
5751        | RString n ->
5752            pr "struct %s_ret {\n" name;
5753            pr "  string %s<>;\n" n;
5754            pr "};\n\n"
5755        | RStringList n ->
5756            pr "struct %s_ret {\n" name;
5757            pr "  str %s<>;\n" n;
5758            pr "};\n\n"
5759        | RStruct (n, typ) ->
5760            pr "struct %s_ret {\n" name;
5761            pr "  guestfs_int_%s %s;\n" typ n;
5762            pr "};\n\n"
5763        | RStructList (n, typ) ->
5764            pr "struct %s_ret {\n" name;
5765            pr "  guestfs_int_%s_list %s;\n" typ n;
5766            pr "};\n\n"
5767        | RHashtable n ->
5768            pr "struct %s_ret {\n" name;
5769            pr "  str %s<>;\n" n;
5770            pr "};\n\n"
5771        | RBufferOut n ->
5772            pr "struct %s_ret {\n" name;
5773            pr "  opaque %s<>;\n" n;
5774            pr "};\n\n"
5775       );
5776   ) daemon_functions;
5777
5778   (* Table of procedure numbers. *)
5779   pr "enum guestfs_procedure {\n";
5780   List.iter (
5781     fun (shortname, _, proc_nr, _, _, _, _) ->
5782       pr "  GUESTFS_PROC_%s = %d,\n" (String.uppercase shortname) proc_nr
5783   ) daemon_functions;
5784   pr "  GUESTFS_PROC_NR_PROCS\n";
5785   pr "};\n";
5786   pr "\n";
5787
5788   (* Having to choose a maximum message size is annoying for several
5789    * reasons (it limits what we can do in the API), but it (a) makes
5790    * the protocol a lot simpler, and (b) provides a bound on the size
5791    * of the daemon which operates in limited memory space.
5792    *)
5793   pr "const GUESTFS_MESSAGE_MAX = %d;\n" (4 * 1024 * 1024);
5794   pr "\n";
5795
5796   (* Message header, etc. *)
5797   pr "\
5798 /* The communication protocol is now documented in the guestfs(3)
5799  * manpage.
5800  */
5801
5802 const GUESTFS_PROGRAM = 0x2000F5F5;
5803 const GUESTFS_PROTOCOL_VERSION = 1;
5804
5805 /* These constants must be larger than any possible message length. */
5806 const GUESTFS_LAUNCH_FLAG = 0xf5f55ff5;
5807 const GUESTFS_CANCEL_FLAG = 0xffffeeee;
5808
5809 enum guestfs_message_direction {
5810   GUESTFS_DIRECTION_CALL = 0,        /* client -> daemon */
5811   GUESTFS_DIRECTION_REPLY = 1        /* daemon -> client */
5812 };
5813
5814 enum guestfs_message_status {
5815   GUESTFS_STATUS_OK = 0,
5816   GUESTFS_STATUS_ERROR = 1
5817 };
5818
5819 const GUESTFS_ERROR_LEN = 256;
5820
5821 struct guestfs_message_error {
5822   string error_message<GUESTFS_ERROR_LEN>;
5823 };
5824
5825 struct guestfs_message_header {
5826   unsigned prog;                     /* GUESTFS_PROGRAM */
5827   unsigned vers;                     /* GUESTFS_PROTOCOL_VERSION */
5828   guestfs_procedure proc;            /* GUESTFS_PROC_x */
5829   guestfs_message_direction direction;
5830   unsigned serial;                   /* message serial number */
5831   guestfs_message_status status;
5832 };
5833
5834 const GUESTFS_MAX_CHUNK_SIZE = 8192;
5835
5836 struct guestfs_chunk {
5837   int cancel;                        /* if non-zero, transfer is cancelled */
5838   /* data size is 0 bytes if the transfer has finished successfully */
5839   opaque data<GUESTFS_MAX_CHUNK_SIZE>;
5840 };
5841 "
5842
5843 (* Generate the guestfs-structs.h file. *)
5844 and generate_structs_h () =
5845   generate_header CStyle LGPLv2plus;
5846
5847   (* This is a public exported header file containing various
5848    * structures.  The structures are carefully written to have
5849    * exactly the same in-memory format as the XDR structures that
5850    * we use on the wire to the daemon.  The reason for creating
5851    * copies of these structures here is just so we don't have to
5852    * export the whole of guestfs_protocol.h (which includes much
5853    * unrelated and XDR-dependent stuff that we don't want to be
5854    * public, or required by clients).
5855    *
5856    * To reiterate, we will pass these structures to and from the
5857    * client with a simple assignment or memcpy, so the format
5858    * must be identical to what rpcgen / the RFC defines.
5859    *)
5860
5861   (* Public structures. *)
5862   List.iter (
5863     fun (typ, cols) ->
5864       pr "struct guestfs_%s {\n" typ;
5865       List.iter (
5866         function
5867         | name, FChar -> pr "  char %s;\n" name
5868         | name, FString -> pr "  char *%s;\n" name
5869         | name, FBuffer ->
5870             pr "  uint32_t %s_len;\n" name;
5871             pr "  char *%s;\n" name
5872         | name, FUUID -> pr "  char %s[32]; /* this is NOT nul-terminated, be careful when printing */\n" name
5873         | name, FUInt32 -> pr "  uint32_t %s;\n" name
5874         | name, FInt32 -> pr "  int32_t %s;\n" name
5875         | name, (FUInt64|FBytes) -> pr "  uint64_t %s;\n" name
5876         | name, FInt64 -> pr "  int64_t %s;\n" name
5877         | name, FOptPercent -> pr "  float %s; /* [0..100] or -1 */\n" name
5878       ) cols;
5879       pr "};\n";
5880       pr "\n";
5881       pr "struct guestfs_%s_list {\n" typ;
5882       pr "  uint32_t len;\n";
5883       pr "  struct guestfs_%s *val;\n" typ;
5884       pr "};\n";
5885       pr "\n";
5886       pr "extern void guestfs_free_%s (struct guestfs_%s *);\n" typ typ;
5887       pr "extern void guestfs_free_%s_list (struct guestfs_%s_list *);\n" typ typ;
5888       pr "\n"
5889   ) structs
5890
5891 (* Generate the guestfs-actions.h file. *)
5892 and generate_actions_h () =
5893   generate_header CStyle LGPLv2plus;
5894   List.iter (
5895     fun (shortname, style, _, _, _, _, _) ->
5896       let name = "guestfs_" ^ shortname in
5897       generate_prototype ~single_line:true ~newline:true ~handle:"g"
5898         name style
5899   ) all_functions
5900
5901 (* Generate the guestfs-internal-actions.h file. *)
5902 and generate_internal_actions_h () =
5903   generate_header CStyle LGPLv2plus;
5904   List.iter (
5905     fun (shortname, style, _, _, _, _, _) ->
5906       let name = "guestfs__" ^ shortname in
5907       generate_prototype ~single_line:true ~newline:true ~handle:"g"
5908         name style
5909   ) non_daemon_functions
5910
5911 (* Generate the client-side dispatch stubs. *)
5912 and generate_client_actions () =
5913   generate_header CStyle LGPLv2plus;
5914
5915   pr "\
5916 #include <stdio.h>
5917 #include <stdlib.h>
5918 #include <stdint.h>
5919 #include <string.h>
5920 #include <inttypes.h>
5921
5922 #include \"guestfs.h\"
5923 #include \"guestfs-internal.h\"
5924 #include \"guestfs-internal-actions.h\"
5925 #include \"guestfs_protocol.h\"
5926
5927 #define error guestfs_error
5928 //#define perrorf guestfs_perrorf
5929 #define safe_malloc guestfs_safe_malloc
5930 #define safe_realloc guestfs_safe_realloc
5931 //#define safe_strdup guestfs_safe_strdup
5932 #define safe_memdup guestfs_safe_memdup
5933
5934 /* Check the return message from a call for validity. */
5935 static int
5936 check_reply_header (guestfs_h *g,
5937                     const struct guestfs_message_header *hdr,
5938                     unsigned int proc_nr, unsigned int serial)
5939 {
5940   if (hdr->prog != GUESTFS_PROGRAM) {
5941     error (g, \"wrong program (%%d/%%d)\", hdr->prog, GUESTFS_PROGRAM);
5942     return -1;
5943   }
5944   if (hdr->vers != GUESTFS_PROTOCOL_VERSION) {
5945     error (g, \"wrong protocol version (%%d/%%d)\",
5946            hdr->vers, GUESTFS_PROTOCOL_VERSION);
5947     return -1;
5948   }
5949   if (hdr->direction != GUESTFS_DIRECTION_REPLY) {
5950     error (g, \"unexpected message direction (%%d/%%d)\",
5951            hdr->direction, GUESTFS_DIRECTION_REPLY);
5952     return -1;
5953   }
5954   if (hdr->proc != proc_nr) {
5955     error (g, \"unexpected procedure number (%%d/%%d)\", hdr->proc, proc_nr);
5956     return -1;
5957   }
5958   if (hdr->serial != serial) {
5959     error (g, \"unexpected serial (%%d/%%d)\", hdr->serial, serial);
5960     return -1;
5961   }
5962
5963   return 0;
5964 }
5965
5966 /* Check we are in the right state to run a high-level action. */
5967 static int
5968 check_state (guestfs_h *g, const char *caller)
5969 {
5970   if (!guestfs__is_ready (g)) {
5971     if (guestfs__is_config (g) || guestfs__is_launching (g))
5972       error (g, \"%%s: call launch before using this function\\n(in guestfish, don't forget to use the 'run' command)\",
5973         caller);
5974     else
5975       error (g, \"%%s called from the wrong state, %%d != READY\",
5976         caller, guestfs__get_state (g));
5977     return -1;
5978   }
5979   return 0;
5980 }
5981
5982 ";
5983
5984   let error_code_of = function
5985     | RErr | RInt _ | RInt64 _ | RBool _ -> "-1"
5986     | RConstString _ | RConstOptString _
5987     | RString _ | RStringList _
5988     | RStruct _ | RStructList _
5989     | RHashtable _ | RBufferOut _ -> "NULL"
5990   in
5991
5992   (* Generate code to check String-like parameters are not passed in
5993    * as NULL (returning an error if they are).
5994    *)
5995   let check_null_strings shortname style =
5996     let pr_newline = ref false in
5997     List.iter (
5998       function
5999       (* parameters which should not be NULL *)
6000       | String n
6001       | Device n
6002       | Pathname n
6003       | Dev_or_Path n
6004       | FileIn n
6005       | FileOut n
6006       | BufferIn n
6007       | StringList n
6008       | DeviceList n ->
6009           pr "  if (%s == NULL) {\n" n;
6010           pr "    error (g, \"%%s: %%s: parameter cannot be NULL\",\n";
6011           pr "           \"%s\", \"%s\");\n" shortname n;
6012           pr "    return %s;\n" (error_code_of (fst style));
6013           pr "  }\n";
6014           pr_newline := true
6015
6016       (* can be NULL *)
6017       | OptString _
6018
6019       (* not applicable *)
6020       | Bool _
6021       | Int _
6022       | Int64 _ -> ()
6023     ) (snd style);
6024
6025     if !pr_newline then pr "\n";
6026   in
6027
6028   (* Generate code to generate guestfish call traces. *)
6029   let trace_call shortname style =
6030     pr "  if (guestfs__get_trace (g)) {\n";
6031
6032     let needs_i =
6033       List.exists (function
6034                    | StringList _ | DeviceList _ -> true
6035                    | _ -> false) (snd style) in
6036     if needs_i then (
6037       pr "    int i;\n";
6038       pr "\n"
6039     );
6040
6041     pr "    printf (\"%s\");\n" shortname;
6042     List.iter (
6043       function
6044       | String n                        (* strings *)
6045       | Device n
6046       | Pathname n
6047       | Dev_or_Path n
6048       | FileIn n
6049       | FileOut n
6050       | BufferIn n ->
6051           (* guestfish doesn't support string escaping, so neither do we *)
6052           pr "    printf (\" \\\"%%s\\\"\", %s);\n" n
6053       | OptString n ->                  (* string option *)
6054           pr "    if (%s) printf (\" \\\"%%s\\\"\", %s);\n" n n;
6055           pr "    else printf (\" null\");\n"
6056       | StringList n
6057       | DeviceList n ->                 (* string list *)
6058           pr "    putchar (' ');\n";
6059           pr "    putchar ('\"');\n";
6060           pr "    for (i = 0; %s[i]; ++i) {\n" n;
6061           pr "      if (i > 0) putchar (' ');\n";
6062           pr "      fputs (%s[i], stdout);\n" n;
6063           pr "    }\n";
6064           pr "    putchar ('\"');\n";
6065       | Bool n ->                       (* boolean *)
6066           pr "    fputs (%s ? \" true\" : \" false\", stdout);\n" n
6067       | Int n ->                        (* int *)
6068           pr "    printf (\" %%d\", %s);\n" n
6069       | Int64 n ->
6070           pr "    printf (\" %%\" PRIi64, %s);\n" n
6071     ) (snd style);
6072     pr "    putchar ('\\n');\n";
6073     pr "  }\n";
6074     pr "\n";
6075   in
6076
6077   (* For non-daemon functions, generate a wrapper around each function. *)
6078   List.iter (
6079     fun (shortname, style, _, _, _, _, _) ->
6080       let name = "guestfs_" ^ shortname in
6081
6082       generate_prototype ~extern:false ~semicolon:false ~newline:true
6083         ~handle:"g" name style;
6084       pr "{\n";
6085       check_null_strings shortname style;
6086       trace_call shortname style;
6087       pr "  return guestfs__%s " shortname;
6088       generate_c_call_args ~handle:"g" style;
6089       pr ";\n";
6090       pr "}\n";
6091       pr "\n"
6092   ) non_daemon_functions;
6093
6094   (* Client-side stubs for each function. *)
6095   List.iter (
6096     fun (shortname, style, _, _, _, _, _) ->
6097       let name = "guestfs_" ^ shortname in
6098       let error_code = error_code_of (fst style) in
6099
6100       (* Generate the action stub. *)
6101       generate_prototype ~extern:false ~semicolon:false ~newline:true
6102         ~handle:"g" name style;
6103
6104       pr "{\n";
6105
6106       (match snd style with
6107        | [] -> ()
6108        | _ -> pr "  struct %s_args args;\n" name
6109       );
6110
6111       pr "  guestfs_message_header hdr;\n";
6112       pr "  guestfs_message_error err;\n";
6113       let has_ret =
6114         match fst style with
6115         | RErr -> false
6116         | RConstString _ | RConstOptString _ ->
6117             failwithf "RConstString|RConstOptString cannot be used by daemon functions"
6118         | RInt _ | RInt64 _
6119         | RBool _ | RString _ | RStringList _
6120         | RStruct _ | RStructList _
6121         | RHashtable _ | RBufferOut _ ->
6122             pr "  struct %s_ret ret;\n" name;
6123             true in
6124
6125       pr "  int serial;\n";
6126       pr "  int r;\n";
6127       pr "\n";
6128       check_null_strings shortname style;
6129       trace_call shortname style;
6130       pr "  if (check_state (g, \"%s\") == -1) return %s;\n"
6131         shortname error_code;
6132       pr "  guestfs___set_busy (g);\n";
6133       pr "\n";
6134
6135       (* Send the main header and arguments. *)
6136       (match snd style with
6137        | [] ->
6138            pr "  serial = guestfs___send (g, GUESTFS_PROC_%s, NULL, NULL);\n"
6139              (String.uppercase shortname)
6140        | args ->
6141            List.iter (
6142              function
6143              | Pathname n | Device n | Dev_or_Path n | String n ->
6144                  pr "  args.%s = (char *) %s;\n" n n
6145              | OptString n ->
6146                  pr "  args.%s = %s ? (char **) &%s : NULL;\n" n n n
6147              | StringList n | DeviceList n ->
6148                  pr "  args.%s.%s_val = (char **) %s;\n" n n n;
6149                  pr "  for (args.%s.%s_len = 0; %s[args.%s.%s_len]; args.%s.%s_len++) ;\n" n n n n n n n;
6150              | Bool n ->
6151                  pr "  args.%s = %s;\n" n n
6152              | Int n ->
6153                  pr "  args.%s = %s;\n" n n
6154              | Int64 n ->
6155                  pr "  args.%s = %s;\n" n n
6156              | FileIn _ | FileOut _ -> ()
6157              | BufferIn n ->
6158                  pr "  /* Just catch grossly large sizes. XDR encoding will make this precise. */\n";
6159                  pr "  if (%s_size >= GUESTFS_MESSAGE_MAX) {\n" n;
6160                  pr "    error (g, \"%%s: size of input buffer too large\", \"%s\");\n"
6161                    shortname;
6162                  pr "    guestfs___end_busy (g);\n";
6163                  pr "    return %s;\n" error_code;
6164                  pr "  }\n";
6165                  pr "  args.%s.%s_val = (char *) %s;\n" n n n;
6166                  pr "  args.%s.%s_len = %s_size;\n" n n n
6167            ) args;
6168            pr "  serial = guestfs___send (g, GUESTFS_PROC_%s,\n"
6169              (String.uppercase shortname);
6170            pr "        (xdrproc_t) xdr_%s_args, (char *) &args);\n"
6171              name;
6172       );
6173       pr "  if (serial == -1) {\n";
6174       pr "    guestfs___end_busy (g);\n";
6175       pr "    return %s;\n" error_code;
6176       pr "  }\n";
6177       pr "\n";
6178
6179       (* Send any additional files (FileIn) requested. *)
6180       let need_read_reply_label = ref false in
6181       List.iter (
6182         function
6183         | FileIn n ->
6184             pr "  r = guestfs___send_file (g, %s);\n" n;
6185             pr "  if (r == -1) {\n";
6186             pr "    guestfs___end_busy (g);\n";
6187             pr "    return %s;\n" error_code;
6188             pr "  }\n";
6189             pr "  if (r == -2) /* daemon cancelled */\n";
6190             pr "    goto read_reply;\n";
6191             need_read_reply_label := true;
6192             pr "\n";
6193         | _ -> ()
6194       ) (snd style);
6195
6196       (* Wait for the reply from the remote end. *)
6197       if !need_read_reply_label then pr " read_reply:\n";
6198       pr "  memset (&hdr, 0, sizeof hdr);\n";
6199       pr "  memset (&err, 0, sizeof err);\n";
6200       if has_ret then pr "  memset (&ret, 0, sizeof ret);\n";
6201       pr "\n";
6202       pr "  r = guestfs___recv (g, \"%s\", &hdr, &err,\n        " shortname;
6203       if not has_ret then
6204         pr "NULL, NULL"
6205       else
6206         pr "(xdrproc_t) xdr_guestfs_%s_ret, (char *) &ret" shortname;
6207       pr ");\n";
6208
6209       pr "  if (r == -1) {\n";
6210       pr "    guestfs___end_busy (g);\n";
6211       pr "    return %s;\n" error_code;
6212       pr "  }\n";
6213       pr "\n";
6214
6215       pr "  if (check_reply_header (g, &hdr, GUESTFS_PROC_%s, serial) == -1) {\n"
6216         (String.uppercase shortname);
6217       pr "    guestfs___end_busy (g);\n";
6218       pr "    return %s;\n" error_code;
6219       pr "  }\n";
6220       pr "\n";
6221
6222       pr "  if (hdr.status == GUESTFS_STATUS_ERROR) {\n";
6223       pr "    error (g, \"%%s: %%s\", \"%s\", err.error_message);\n" shortname;
6224       pr "    free (err.error_message);\n";
6225       pr "    guestfs___end_busy (g);\n";
6226       pr "    return %s;\n" error_code;
6227       pr "  }\n";
6228       pr "\n";
6229
6230       (* Expecting to receive further files (FileOut)? *)
6231       List.iter (
6232         function
6233         | FileOut n ->
6234             pr "  if (guestfs___recv_file (g, %s) == -1) {\n" n;
6235             pr "    guestfs___end_busy (g);\n";
6236             pr "    return %s;\n" error_code;
6237             pr "  }\n";
6238             pr "\n";
6239         | _ -> ()
6240       ) (snd style);
6241
6242       pr "  guestfs___end_busy (g);\n";
6243
6244       (match fst style with
6245        | RErr -> pr "  return 0;\n"
6246        | RInt n | RInt64 n | RBool n ->
6247            pr "  return ret.%s;\n" n
6248        | RConstString _ | RConstOptString _ ->
6249            failwithf "RConstString|RConstOptString cannot be used by daemon functions"
6250        | RString n ->
6251            pr "  return ret.%s; /* caller will free */\n" n
6252        | RStringList n | RHashtable n ->
6253            pr "  /* caller will free this, but we need to add a NULL entry */\n";
6254            pr "  ret.%s.%s_val =\n" n n;
6255            pr "    safe_realloc (g, ret.%s.%s_val,\n" n n;
6256            pr "                  sizeof (char *) * (ret.%s.%s_len + 1));\n"
6257              n n;
6258            pr "  ret.%s.%s_val[ret.%s.%s_len] = NULL;\n" n n n n;
6259            pr "  return ret.%s.%s_val;\n" n n
6260        | RStruct (n, _) ->
6261            pr "  /* caller will free this */\n";
6262            pr "  return safe_memdup (g, &ret.%s, sizeof (ret.%s));\n" n n
6263        | RStructList (n, _) ->
6264            pr "  /* caller will free this */\n";
6265            pr "  return safe_memdup (g, &ret.%s, sizeof (ret.%s));\n" n n
6266        | RBufferOut n ->
6267            pr "  /* RBufferOut is tricky: If the buffer is zero-length, then\n";
6268            pr "   * _val might be NULL here.  To make the API saner for\n";
6269            pr "   * callers, we turn this case into a unique pointer (using\n";
6270            pr "   * malloc(1)).\n";
6271            pr "   */\n";
6272            pr "  if (ret.%s.%s_len > 0) {\n" n n;
6273            pr "    *size_r = ret.%s.%s_len;\n" n n;
6274            pr "    return ret.%s.%s_val; /* caller will free */\n" n n;
6275            pr "  } else {\n";
6276            pr "    free (ret.%s.%s_val);\n" n n;
6277            pr "    char *p = safe_malloc (g, 1);\n";
6278            pr "    *size_r = ret.%s.%s_len;\n" n n;
6279            pr "    return p;\n";
6280            pr "  }\n";
6281       );
6282
6283       pr "}\n\n"
6284   ) daemon_functions;
6285
6286   (* Functions to free structures. *)
6287   pr "/* Structure-freeing functions.  These rely on the fact that the\n";
6288   pr " * structure format is identical to the XDR format.  See note in\n";
6289   pr " * generator.ml.\n";
6290   pr " */\n";
6291   pr "\n";
6292
6293   List.iter (
6294     fun (typ, _) ->
6295       pr "void\n";
6296       pr "guestfs_free_%s (struct guestfs_%s *x)\n" typ typ;
6297       pr "{\n";
6298       pr "  xdr_free ((xdrproc_t) xdr_guestfs_int_%s, (char *) x);\n" typ;
6299       pr "  free (x);\n";
6300       pr "}\n";
6301       pr "\n";
6302
6303       pr "void\n";
6304       pr "guestfs_free_%s_list (struct guestfs_%s_list *x)\n" typ typ;
6305       pr "{\n";
6306       pr "  xdr_free ((xdrproc_t) xdr_guestfs_int_%s_list, (char *) x);\n" typ;
6307       pr "  free (x);\n";
6308       pr "}\n";
6309       pr "\n";
6310
6311   ) structs;
6312
6313 (* Generate daemon/actions.h. *)
6314 and generate_daemon_actions_h () =
6315   generate_header CStyle GPLv2plus;
6316
6317   pr "#include \"../src/guestfs_protocol.h\"\n";
6318   pr "\n";
6319
6320   List.iter (
6321     fun (name, style, _, _, _, _, _) ->
6322       generate_prototype
6323         ~single_line:true ~newline:true ~in_daemon:true ~prefix:"do_"
6324         name style;
6325   ) daemon_functions
6326
6327 (* Generate the linker script which controls the visibility of
6328  * symbols in the public ABI and ensures no other symbols get
6329  * exported accidentally.
6330  *)
6331 and generate_linker_script () =
6332   generate_header HashStyle GPLv2plus;
6333
6334   let globals = [
6335     "guestfs_create";
6336     "guestfs_close";
6337     "guestfs_get_error_handler";
6338     "guestfs_get_out_of_memory_handler";
6339     "guestfs_last_error";
6340     "guestfs_set_close_callback";
6341     "guestfs_set_error_handler";
6342     "guestfs_set_launch_done_callback";
6343     "guestfs_set_log_message_callback";
6344     "guestfs_set_out_of_memory_handler";
6345     "guestfs_set_subprocess_quit_callback";
6346
6347     (* Unofficial parts of the API: the bindings code use these
6348      * functions, so it is useful to export them.
6349      *)
6350     "guestfs_safe_calloc";
6351     "guestfs_safe_malloc";
6352     "guestfs_safe_strdup";
6353     "guestfs_safe_memdup";
6354   ] in
6355   let functions =
6356     List.map (fun (name, _, _, _, _, _, _) -> "guestfs_" ^ name)
6357       all_functions in
6358   let structs =
6359     List.concat (
6360       List.map (fun (typ, _) ->
6361                   ["guestfs_free_" ^ typ; "guestfs_free_" ^ typ ^ "_list"])
6362         structs
6363     ) in
6364   let globals = List.sort compare (globals @ functions @ structs) in
6365
6366   pr "{\n";
6367   pr "    global:\n";
6368   List.iter (pr "        %s;\n") globals;
6369   pr "\n";
6370
6371   pr "    local:\n";
6372   pr "        *;\n";
6373   pr "};\n"
6374
6375 (* Generate the server-side stubs. *)
6376 and generate_daemon_actions () =
6377   generate_header CStyle GPLv2plus;
6378
6379   pr "#include <config.h>\n";
6380   pr "\n";
6381   pr "#include <stdio.h>\n";
6382   pr "#include <stdlib.h>\n";
6383   pr "#include <string.h>\n";
6384   pr "#include <inttypes.h>\n";
6385   pr "#include <rpc/types.h>\n";
6386   pr "#include <rpc/xdr.h>\n";
6387   pr "\n";
6388   pr "#include \"daemon.h\"\n";
6389   pr "#include \"c-ctype.h\"\n";
6390   pr "#include \"../src/guestfs_protocol.h\"\n";
6391   pr "#include \"actions.h\"\n";
6392   pr "\n";
6393
6394   List.iter (
6395     fun (name, style, _, _, _, _, _) ->
6396       (* Generate server-side stubs. *)
6397       pr "static void %s_stub (XDR *xdr_in)\n" name;
6398       pr "{\n";
6399       let error_code =
6400         match fst style with
6401         | RErr | RInt _ -> pr "  int r;\n"; "-1"
6402         | RInt64 _ -> pr "  int64_t r;\n"; "-1"
6403         | RBool _ -> pr "  int r;\n"; "-1"
6404         | RConstString _ | RConstOptString _ ->
6405             failwithf "RConstString|RConstOptString cannot be used by daemon functions"
6406         | RString _ -> pr "  char *r;\n"; "NULL"
6407         | RStringList _ | RHashtable _ -> pr "  char **r;\n"; "NULL"
6408         | RStruct (_, typ) -> pr "  guestfs_int_%s *r;\n" typ; "NULL"
6409         | RStructList (_, typ) -> pr "  guestfs_int_%s_list *r;\n" typ; "NULL"
6410         | RBufferOut _ ->
6411             pr "  size_t size = 1;\n";
6412             pr "  char *r;\n";
6413             "NULL" in
6414
6415       (match snd style with
6416        | [] -> ()
6417        | args ->
6418            pr "  struct guestfs_%s_args args;\n" name;
6419            List.iter (
6420              function
6421              | Device n | Dev_or_Path n
6422              | Pathname n
6423              | String n -> ()
6424              | OptString n -> pr "  char *%s;\n" n
6425              | StringList n | DeviceList n -> pr "  char **%s;\n" n
6426              | Bool n -> pr "  int %s;\n" n
6427              | Int n -> pr "  int %s;\n" n
6428              | Int64 n -> pr "  int64_t %s;\n" n
6429              | FileIn _ | FileOut _ -> ()
6430              | BufferIn n ->
6431                  pr "  const char *%s;\n" n;
6432                  pr "  size_t %s_size;\n" n
6433            ) args
6434       );
6435       pr "\n";
6436
6437       let is_filein =
6438         List.exists (function FileIn _ -> true | _ -> false) (snd style) in
6439
6440       (match snd style with
6441        | [] -> ()
6442        | args ->
6443            pr "  memset (&args, 0, sizeof args);\n";
6444            pr "\n";
6445            pr "  if (!xdr_guestfs_%s_args (xdr_in, &args)) {\n" name;
6446            if is_filein then
6447              pr "    if (cancel_receive () != -2)\n";
6448            pr "      reply_with_error (\"daemon failed to decode procedure arguments\");\n";
6449            pr "    goto done;\n";
6450            pr "  }\n";
6451            let pr_args n =
6452              pr "  char *%s = args.%s;\n" n n
6453            in
6454            let pr_list_handling_code n =
6455              pr "  %s = realloc (args.%s.%s_val,\n" n n n;
6456              pr "                sizeof (char *) * (args.%s.%s_len+1));\n" n n;
6457              pr "  if (%s == NULL) {\n" n;
6458              if is_filein then
6459                pr "    if (cancel_receive () != -2)\n";
6460              pr "      reply_with_perror (\"realloc\");\n";
6461              pr "    goto done;\n";
6462              pr "  }\n";
6463              pr "  %s[args.%s.%s_len] = NULL;\n" n n n;
6464              pr "  args.%s.%s_val = %s;\n" n n n;
6465            in
6466            List.iter (
6467              function
6468              | Pathname n ->
6469                  pr_args n;
6470                  pr "  ABS_PATH (%s, %s, goto done);\n"
6471                    n (if is_filein then "cancel_receive ()" else "0");
6472              | Device n ->
6473                  pr_args n;
6474                  pr "  RESOLVE_DEVICE (%s, %s, goto done);\n"
6475                    n (if is_filein then "cancel_receive ()" else "0");
6476              | Dev_or_Path n ->
6477                  pr_args n;
6478                  pr "  REQUIRE_ROOT_OR_RESOLVE_DEVICE (%s, %s, goto done);\n"
6479                    n (if is_filein then "cancel_receive ()" else "0");
6480              | String n -> pr_args n
6481              | OptString n -> pr "  %s = args.%s ? *args.%s : NULL;\n" n n n
6482              | StringList n ->
6483                  pr_list_handling_code n;
6484              | DeviceList n ->
6485                  pr_list_handling_code n;
6486                  pr "  /* Ensure that each is a device,\n";
6487                  pr "   * and perform device name translation. */\n";
6488                  pr "  { int pvi; for (pvi = 0; physvols[pvi] != NULL; ++pvi)\n";
6489                  pr "    RESOLVE_DEVICE (physvols[pvi], %s, goto done);\n"
6490                    (if is_filein then "cancel_receive ()" else "0");
6491                  pr "  }\n";
6492              | Bool n -> pr "  %s = args.%s;\n" n n
6493              | Int n -> pr "  %s = args.%s;\n" n n
6494              | Int64 n -> pr "  %s = args.%s;\n" n n
6495              | FileIn _ | FileOut _ -> ()
6496              | BufferIn n ->
6497                  pr "  %s = args.%s.%s_val;\n" n n n;
6498                  pr "  %s_size = args.%s.%s_len;\n" n n n
6499            ) args;
6500            pr "\n"
6501       );
6502
6503       (* this is used at least for do_equal *)
6504       if List.exists (function Pathname _ -> true | _ -> false) (snd style) then (
6505         (* Emit NEED_ROOT just once, even when there are two or
6506            more Pathname args *)
6507         pr "  NEED_ROOT (%s, goto done);\n"
6508           (if is_filein then "cancel_receive ()" else "0");
6509       );
6510
6511       (* Don't want to call the impl with any FileIn or FileOut
6512        * parameters, since these go "outside" the RPC protocol.
6513        *)
6514       let args' =
6515         List.filter (function FileIn _ | FileOut _ -> false | _ -> true)
6516           (snd style) in
6517       pr "  r = do_%s " name;
6518       generate_c_call_args (fst style, args');
6519       pr ";\n";
6520
6521       (match fst style with
6522        | RErr | RInt _ | RInt64 _ | RBool _
6523        | RConstString _ | RConstOptString _
6524        | RString _ | RStringList _ | RHashtable _
6525        | RStruct (_, _) | RStructList (_, _) ->
6526            pr "  if (r == %s)\n" error_code;
6527            pr "    /* do_%s has already called reply_with_error */\n" name;
6528            pr "    goto done;\n";
6529            pr "\n"
6530        | RBufferOut _ ->
6531            pr "  /* size == 0 && r == NULL could be a non-error case (just\n";
6532            pr "   * an ordinary zero-length buffer), so be careful ...\n";
6533            pr "   */\n";
6534            pr "  if (size == 1 && r == %s)\n" error_code;
6535            pr "    /* do_%s has already called reply_with_error */\n" name;
6536            pr "    goto done;\n";
6537            pr "\n"
6538       );
6539
6540       (* If there are any FileOut parameters, then the impl must
6541        * send its own reply.
6542        *)
6543       let no_reply =
6544         List.exists (function FileOut _ -> true | _ -> false) (snd style) in
6545       if no_reply then
6546         pr "  /* do_%s has already sent a reply */\n" name
6547       else (
6548         match fst style with
6549         | RErr -> pr "  reply (NULL, NULL);\n"
6550         | RInt n | RInt64 n | RBool n ->
6551             pr "  struct guestfs_%s_ret ret;\n" name;
6552             pr "  ret.%s = r;\n" n;
6553             pr "  reply ((xdrproc_t) &xdr_guestfs_%s_ret, (char *) &ret);\n"
6554               name
6555         | RConstString _ | RConstOptString _ ->
6556             failwithf "RConstString|RConstOptString cannot be used by daemon functions"
6557         | RString n ->
6558             pr "  struct guestfs_%s_ret ret;\n" name;
6559             pr "  ret.%s = r;\n" n;
6560             pr "  reply ((xdrproc_t) &xdr_guestfs_%s_ret, (char *) &ret);\n"
6561               name;
6562             pr "  free (r);\n"
6563         | RStringList n | RHashtable n ->
6564             pr "  struct guestfs_%s_ret ret;\n" name;
6565             pr "  ret.%s.%s_len = count_strings (r);\n" n n;
6566             pr "  ret.%s.%s_val = r;\n" n n;
6567             pr "  reply ((xdrproc_t) &xdr_guestfs_%s_ret, (char *) &ret);\n"
6568               name;
6569             pr "  free_strings (r);\n"
6570         | RStruct (n, _) ->
6571             pr "  struct guestfs_%s_ret ret;\n" name;
6572             pr "  ret.%s = *r;\n" n;
6573             pr "  reply ((xdrproc_t) xdr_guestfs_%s_ret, (char *) &ret);\n"
6574               name;
6575             pr "  xdr_free ((xdrproc_t) xdr_guestfs_%s_ret, (char *) &ret);\n"
6576               name
6577         | RStructList (n, _) ->
6578             pr "  struct guestfs_%s_ret ret;\n" name;
6579             pr "  ret.%s = *r;\n" n;
6580             pr "  reply ((xdrproc_t) xdr_guestfs_%s_ret, (char *) &ret);\n"
6581               name;
6582             pr "  xdr_free ((xdrproc_t) xdr_guestfs_%s_ret, (char *) &ret);\n"
6583               name
6584         | RBufferOut n ->
6585             pr "  struct guestfs_%s_ret ret;\n" name;
6586             pr "  ret.%s.%s_val = r;\n" n n;
6587             pr "  ret.%s.%s_len = size;\n" n n;
6588             pr "  reply ((xdrproc_t) &xdr_guestfs_%s_ret, (char *) &ret);\n"
6589               name;
6590             pr "  free (r);\n"
6591       );
6592
6593       (* Free the args. *)
6594       pr "done:\n";
6595       (match snd style with
6596        | [] -> ()
6597        | _ ->
6598            pr "  xdr_free ((xdrproc_t) xdr_guestfs_%s_args, (char *) &args);\n"
6599              name
6600       );
6601       pr "  return;\n";
6602       pr "}\n\n";
6603   ) daemon_functions;
6604
6605   (* Dispatch function. *)
6606   pr "void dispatch_incoming_message (XDR *xdr_in)\n";
6607   pr "{\n";
6608   pr "  switch (proc_nr) {\n";
6609
6610   List.iter (
6611     fun (name, style, _, _, _, _, _) ->
6612       pr "    case GUESTFS_PROC_%s:\n" (String.uppercase name);
6613       pr "      %s_stub (xdr_in);\n" name;
6614       pr "      break;\n"
6615   ) daemon_functions;
6616
6617   pr "    default:\n";
6618   pr "      reply_with_error (\"dispatch_incoming_message: unknown procedure number %%d, set LIBGUESTFS_PATH to point to the matching libguestfs appliance directory\", proc_nr);\n";
6619   pr "  }\n";
6620   pr "}\n";
6621   pr "\n";
6622
6623   (* LVM columns and tokenization functions. *)
6624   (* XXX This generates crap code.  We should rethink how we
6625    * do this parsing.
6626    *)
6627   List.iter (
6628     function
6629     | typ, cols ->
6630         pr "static const char *lvm_%s_cols = \"%s\";\n"
6631           typ (String.concat "," (List.map fst cols));
6632         pr "\n";
6633
6634         pr "static int lvm_tokenize_%s (char *str, guestfs_int_lvm_%s *r)\n" typ typ;
6635         pr "{\n";
6636         pr "  char *tok, *p, *next;\n";
6637         pr "  int i, j;\n";
6638         pr "\n";
6639         (*
6640           pr "  fprintf (stderr, \"%%s: <<%%s>>\\n\", __func__, str);\n";
6641           pr "\n";
6642         *)
6643         pr "  if (!str) {\n";
6644         pr "    fprintf (stderr, \"%%s: failed: passed a NULL string\\n\", __func__);\n";
6645         pr "    return -1;\n";
6646         pr "  }\n";
6647         pr "  if (!*str || c_isspace (*str)) {\n";
6648         pr "    fprintf (stderr, \"%%s: failed: passed a empty string or one beginning with whitespace\\n\", __func__);\n";
6649         pr "    return -1;\n";
6650         pr "  }\n";
6651         pr "  tok = str;\n";
6652         List.iter (
6653           fun (name, coltype) ->
6654             pr "  if (!tok) {\n";
6655             pr "    fprintf (stderr, \"%%s: failed: string finished early, around token %%s\\n\", __func__, \"%s\");\n" name;
6656             pr "    return -1;\n";
6657             pr "  }\n";
6658             pr "  p = strchrnul (tok, ',');\n";
6659             pr "  if (*p) next = p+1; else next = NULL;\n";
6660             pr "  *p = '\\0';\n";
6661             (match coltype with
6662              | FString ->
6663                  pr "  r->%s = strdup (tok);\n" name;
6664                  pr "  if (r->%s == NULL) {\n" name;
6665                  pr "    perror (\"strdup\");\n";
6666                  pr "    return -1;\n";
6667                  pr "  }\n"
6668              | FUUID ->
6669                  pr "  for (i = j = 0; i < 32; ++j) {\n";
6670                  pr "    if (tok[j] == '\\0') {\n";
6671                  pr "      fprintf (stderr, \"%%s: failed to parse UUID from '%%s'\\n\", __func__, tok);\n";
6672                  pr "      return -1;\n";
6673                  pr "    } else if (tok[j] != '-')\n";
6674                  pr "      r->%s[i++] = tok[j];\n" name;
6675                  pr "  }\n";
6676              | FBytes ->
6677                  pr "  if (sscanf (tok, \"%%\"SCNu64, &r->%s) != 1) {\n" name;
6678                  pr "    fprintf (stderr, \"%%s: failed to parse size '%%s' from token %%s\\n\", __func__, tok, \"%s\");\n" name;
6679                  pr "    return -1;\n";
6680                  pr "  }\n";
6681              | FInt64 ->
6682                  pr "  if (sscanf (tok, \"%%\"SCNi64, &r->%s) != 1) {\n" name;
6683                  pr "    fprintf (stderr, \"%%s: failed to parse int '%%s' from token %%s\\n\", __func__, tok, \"%s\");\n" name;
6684                  pr "    return -1;\n";
6685                  pr "  }\n";
6686              | FOptPercent ->
6687                  pr "  if (tok[0] == '\\0')\n";
6688                  pr "    r->%s = -1;\n" name;
6689                  pr "  else if (sscanf (tok, \"%%f\", &r->%s) != 1) {\n" name;
6690                  pr "    fprintf (stderr, \"%%s: failed to parse float '%%s' from token %%s\\n\", __func__, tok, \"%s\");\n" name;
6691                  pr "    return -1;\n";
6692                  pr "  }\n";
6693              | FBuffer | FInt32 | FUInt32 | FUInt64 | FChar ->
6694                  assert false (* can never be an LVM column *)
6695             );
6696             pr "  tok = next;\n";
6697         ) cols;
6698
6699         pr "  if (tok != NULL) {\n";
6700         pr "    fprintf (stderr, \"%%s: failed: extra tokens at end of string\\n\", __func__);\n";
6701         pr "    return -1;\n";
6702         pr "  }\n";
6703         pr "  return 0;\n";
6704         pr "}\n";
6705         pr "\n";
6706
6707         pr "guestfs_int_lvm_%s_list *\n" typ;
6708         pr "parse_command_line_%ss (void)\n" typ;
6709         pr "{\n";
6710         pr "  char *out, *err;\n";
6711         pr "  char *p, *pend;\n";
6712         pr "  int r, i;\n";
6713         pr "  guestfs_int_lvm_%s_list *ret;\n" typ;
6714         pr "  void *newp;\n";
6715         pr "\n";
6716         pr "  ret = malloc (sizeof *ret);\n";
6717         pr "  if (!ret) {\n";
6718         pr "    reply_with_perror (\"malloc\");\n";
6719         pr "    return NULL;\n";
6720         pr "  }\n";
6721         pr "\n";
6722         pr "  ret->guestfs_int_lvm_%s_list_len = 0;\n" typ;
6723         pr "  ret->guestfs_int_lvm_%s_list_val = NULL;\n" typ;
6724         pr "\n";
6725         pr "  r = command (&out, &err,\n";
6726         pr "           \"lvm\", \"%ss\",\n" typ;
6727         pr "           \"-o\", lvm_%s_cols, \"--unbuffered\", \"--noheadings\",\n" typ;
6728         pr "           \"--nosuffix\", \"--separator\", \",\", \"--units\", \"b\", NULL);\n";
6729         pr "  if (r == -1) {\n";
6730         pr "    reply_with_error (\"%%s\", err);\n";
6731         pr "    free (out);\n";
6732         pr "    free (err);\n";
6733         pr "    free (ret);\n";
6734         pr "    return NULL;\n";
6735         pr "  }\n";
6736         pr "\n";
6737         pr "  free (err);\n";
6738         pr "\n";
6739         pr "  /* Tokenize each line of the output. */\n";
6740         pr "  p = out;\n";
6741         pr "  i = 0;\n";
6742         pr "  while (p) {\n";
6743         pr "    pend = strchr (p, '\\n');       /* Get the next line of output. */\n";
6744         pr "    if (pend) {\n";
6745         pr "      *pend = '\\0';\n";
6746         pr "      pend++;\n";
6747         pr "    }\n";
6748         pr "\n";
6749         pr "    while (*p && c_isspace (*p))    /* Skip any leading whitespace. */\n";
6750         pr "      p++;\n";
6751         pr "\n";
6752         pr "    if (!*p) {                      /* Empty line?  Skip it. */\n";
6753         pr "      p = pend;\n";
6754         pr "      continue;\n";
6755         pr "    }\n";
6756         pr "\n";
6757         pr "    /* Allocate some space to store this next entry. */\n";
6758         pr "    newp = realloc (ret->guestfs_int_lvm_%s_list_val,\n" typ;
6759         pr "                sizeof (guestfs_int_lvm_%s) * (i+1));\n" typ;
6760         pr "    if (newp == NULL) {\n";
6761         pr "      reply_with_perror (\"realloc\");\n";
6762         pr "      free (ret->guestfs_int_lvm_%s_list_val);\n" typ;
6763         pr "      free (ret);\n";
6764         pr "      free (out);\n";
6765         pr "      return NULL;\n";
6766         pr "    }\n";
6767         pr "    ret->guestfs_int_lvm_%s_list_val = newp;\n" typ;
6768         pr "\n";
6769         pr "    /* Tokenize the next entry. */\n";
6770         pr "    r = lvm_tokenize_%s (p, &ret->guestfs_int_lvm_%s_list_val[i]);\n" typ typ;
6771         pr "    if (r == -1) {\n";
6772         pr "      reply_with_error (\"failed to parse output of '%ss' command\");\n" typ;
6773         pr "      free (ret->guestfs_int_lvm_%s_list_val);\n" typ;
6774         pr "      free (ret);\n";
6775         pr "      free (out);\n";
6776         pr "      return NULL;\n";
6777         pr "    }\n";
6778         pr "\n";
6779         pr "    ++i;\n";
6780         pr "    p = pend;\n";
6781         pr "  }\n";
6782         pr "\n";
6783         pr "  ret->guestfs_int_lvm_%s_list_len = i;\n" typ;
6784         pr "\n";
6785         pr "  free (out);\n";
6786         pr "  return ret;\n";
6787         pr "}\n"
6788
6789   ) ["pv", lvm_pv_cols; "vg", lvm_vg_cols; "lv", lvm_lv_cols]
6790
6791 (* Generate a list of function names, for debugging in the daemon.. *)
6792 and generate_daemon_names () =
6793   generate_header CStyle GPLv2plus;
6794
6795   pr "#include <config.h>\n";
6796   pr "\n";
6797   pr "#include \"daemon.h\"\n";
6798   pr "\n";
6799
6800   pr "/* This array is indexed by proc_nr.  See guestfs_protocol.x. */\n";
6801   pr "const char *function_names[] = {\n";
6802   List.iter (
6803     fun (name, _, proc_nr, _, _, _, _) -> pr "  [%d] = \"%s\",\n" proc_nr name
6804   ) daemon_functions;
6805   pr "};\n";
6806
6807 (* Generate the optional groups for the daemon to implement
6808  * guestfs_available.
6809  *)
6810 and generate_daemon_optgroups_c () =
6811   generate_header CStyle GPLv2plus;
6812
6813   pr "#include <config.h>\n";
6814   pr "\n";
6815   pr "#include \"daemon.h\"\n";
6816   pr "#include \"optgroups.h\"\n";
6817   pr "\n";
6818
6819   pr "struct optgroup optgroups[] = {\n";
6820   List.iter (
6821     fun (group, _) ->
6822       pr "  { \"%s\", optgroup_%s_available },\n" group group
6823   ) optgroups;
6824   pr "  { NULL, NULL }\n";
6825   pr "};\n"
6826
6827 and generate_daemon_optgroups_h () =
6828   generate_header CStyle GPLv2plus;
6829
6830   List.iter (
6831     fun (group, _) ->
6832       pr "extern int optgroup_%s_available (void);\n" group
6833   ) optgroups
6834
6835 (* Generate the tests. *)
6836 and generate_tests () =
6837   generate_header CStyle GPLv2plus;
6838
6839   pr "\
6840 #include <stdio.h>
6841 #include <stdlib.h>
6842 #include <string.h>
6843 #include <unistd.h>
6844 #include <sys/types.h>
6845 #include <fcntl.h>
6846
6847 #include \"guestfs.h\"
6848 #include \"guestfs-internal.h\"
6849
6850 static guestfs_h *g;
6851 static int suppress_error = 0;
6852
6853 static void print_error (guestfs_h *g, void *data, const char *msg)
6854 {
6855   if (!suppress_error)
6856     fprintf (stderr, \"%%s\\n\", msg);
6857 }
6858
6859 /* FIXME: nearly identical code appears in fish.c */
6860 static void print_strings (char *const *argv)
6861 {
6862   int argc;
6863
6864   for (argc = 0; argv[argc] != NULL; ++argc)
6865     printf (\"\\t%%s\\n\", argv[argc]);
6866 }
6867
6868 /*
6869 static void print_table (char const *const *argv)
6870 {
6871   int i;
6872
6873   for (i = 0; argv[i] != NULL; i += 2)
6874     printf (\"%%s: %%s\\n\", argv[i], argv[i+1]);
6875 }
6876 */
6877
6878 static int
6879 is_available (const char *group)
6880 {
6881   const char *groups[] = { group, NULL };
6882   int r;
6883
6884   suppress_error = 1;
6885   r = guestfs_available (g, (char **) groups);
6886   suppress_error = 0;
6887
6888   return r == 0;
6889 }
6890
6891 static void
6892 incr (guestfs_h *g, void *iv)
6893 {
6894   int *i = (int *) iv;
6895   (*i)++;
6896 }
6897
6898 ";
6899
6900   (* Generate a list of commands which are not tested anywhere. *)
6901   pr "static void no_test_warnings (void)\n";
6902   pr "{\n";
6903
6904   let hash : (string, bool) Hashtbl.t = Hashtbl.create 13 in
6905   List.iter (
6906     fun (_, _, _, _, tests, _, _) ->
6907       let tests = filter_map (
6908         function
6909         | (_, (Always|If _|Unless _|IfAvailable _), test) -> Some test
6910         | (_, Disabled, _) -> None
6911       ) tests in
6912       let seq = List.concat (List.map seq_of_test tests) in
6913       let cmds_tested = List.map List.hd seq in
6914       List.iter (fun cmd -> Hashtbl.replace hash cmd true) cmds_tested
6915   ) all_functions;
6916
6917   List.iter (
6918     fun (name, _, _, _, _, _, _) ->
6919       if not (Hashtbl.mem hash name) then
6920         pr "  fprintf (stderr, \"warning: \\\"guestfs_%s\\\" has no tests\\n\");\n" name
6921   ) all_functions;
6922
6923   pr "}\n";
6924   pr "\n";
6925
6926   (* Generate the actual tests.  Note that we generate the tests
6927    * in reverse order, deliberately, so that (in general) the
6928    * newest tests run first.  This makes it quicker and easier to
6929    * debug them.
6930    *)
6931   let test_names =
6932     List.map (
6933       fun (name, _, _, flags, tests, _, _) ->
6934         mapi (generate_one_test name flags) tests
6935     ) (List.rev all_functions) in
6936   let test_names = List.concat test_names in
6937   let nr_tests = List.length test_names in
6938
6939   pr "\
6940 int main (int argc, char *argv[])
6941 {
6942   char c = 0;
6943   unsigned long int n_failed = 0;
6944   const char *filename;
6945   int fd;
6946   int nr_tests, test_num = 0;
6947
6948   setbuf (stdout, NULL);
6949
6950   no_test_warnings ();
6951
6952   g = guestfs_create ();
6953   if (g == NULL) {
6954     printf (\"guestfs_create FAILED\\n\");
6955     exit (EXIT_FAILURE);
6956   }
6957
6958   guestfs_set_error_handler (g, print_error, NULL);
6959
6960   guestfs_set_path (g, \"../appliance\");
6961
6962   filename = \"test1.img\";
6963   fd = open (filename, O_WRONLY|O_CREAT|O_NOCTTY|O_NONBLOCK|O_TRUNC, 0666);
6964   if (fd == -1) {
6965     perror (filename);
6966     exit (EXIT_FAILURE);
6967   }
6968   if (lseek (fd, %d, SEEK_SET) == -1) {
6969     perror (\"lseek\");
6970     close (fd);
6971     unlink (filename);
6972     exit (EXIT_FAILURE);
6973   }
6974   if (write (fd, &c, 1) == -1) {
6975     perror (\"write\");
6976     close (fd);
6977     unlink (filename);
6978     exit (EXIT_FAILURE);
6979   }
6980   if (close (fd) == -1) {
6981     perror (filename);
6982     unlink (filename);
6983     exit (EXIT_FAILURE);
6984   }
6985   if (guestfs_add_drive (g, filename) == -1) {
6986     printf (\"guestfs_add_drive %%s FAILED\\n\", filename);
6987     exit (EXIT_FAILURE);
6988   }
6989
6990   filename = \"test2.img\";
6991   fd = open (filename, O_WRONLY|O_CREAT|O_NOCTTY|O_NONBLOCK|O_TRUNC, 0666);
6992   if (fd == -1) {
6993     perror (filename);
6994     exit (EXIT_FAILURE);
6995   }
6996   if (lseek (fd, %d, SEEK_SET) == -1) {
6997     perror (\"lseek\");
6998     close (fd);
6999     unlink (filename);
7000     exit (EXIT_FAILURE);
7001   }
7002   if (write (fd, &c, 1) == -1) {
7003     perror (\"write\");
7004     close (fd);
7005     unlink (filename);
7006     exit (EXIT_FAILURE);
7007   }
7008   if (close (fd) == -1) {
7009     perror (filename);
7010     unlink (filename);
7011     exit (EXIT_FAILURE);
7012   }
7013   if (guestfs_add_drive (g, filename) == -1) {
7014     printf (\"guestfs_add_drive %%s FAILED\\n\", filename);
7015     exit (EXIT_FAILURE);
7016   }
7017
7018   filename = \"test3.img\";
7019   fd = open (filename, O_WRONLY|O_CREAT|O_NOCTTY|O_NONBLOCK|O_TRUNC, 0666);
7020   if (fd == -1) {
7021     perror (filename);
7022     exit (EXIT_FAILURE);
7023   }
7024   if (lseek (fd, %d, SEEK_SET) == -1) {
7025     perror (\"lseek\");
7026     close (fd);
7027     unlink (filename);
7028     exit (EXIT_FAILURE);
7029   }
7030   if (write (fd, &c, 1) == -1) {
7031     perror (\"write\");
7032     close (fd);
7033     unlink (filename);
7034     exit (EXIT_FAILURE);
7035   }
7036   if (close (fd) == -1) {
7037     perror (filename);
7038     unlink (filename);
7039     exit (EXIT_FAILURE);
7040   }
7041   if (guestfs_add_drive (g, filename) == -1) {
7042     printf (\"guestfs_add_drive %%s FAILED\\n\", filename);
7043     exit (EXIT_FAILURE);
7044   }
7045
7046   if (guestfs_add_drive_ro (g, \"../images/test.iso\") == -1) {
7047     printf (\"guestfs_add_drive_ro ../images/test.iso FAILED\\n\");
7048     exit (EXIT_FAILURE);
7049   }
7050
7051   /* Set a timeout in case qemu hangs during launch (RHBZ#505329). */
7052   alarm (600);
7053
7054   if (guestfs_launch (g) == -1) {
7055     printf (\"guestfs_launch FAILED\\n\");
7056     exit (EXIT_FAILURE);
7057   }
7058
7059   /* Cancel previous alarm. */
7060   alarm (0);
7061
7062   nr_tests = %d;
7063
7064 " (500 * 1024 * 1024) (50 * 1024 * 1024) (10 * 1024 * 1024) nr_tests;
7065
7066   iteri (
7067     fun i test_name ->
7068       pr "  test_num++;\n";
7069       pr "  if (guestfs_get_verbose (g))\n";
7070       pr "    printf (\"-------------------------------------------------------------------------------\\n\");\n";
7071       pr "  printf (\"%%3d/%%3d %s\\n\", test_num, nr_tests);\n" test_name;
7072       pr "  if (%s () == -1) {\n" test_name;
7073       pr "    printf (\"%s FAILED\\n\");\n" test_name;
7074       pr "    n_failed++;\n";
7075       pr "  }\n";
7076   ) test_names;
7077   pr "\n";
7078
7079   pr "  /* Check close callback is called. */
7080   int close_sentinel = 1;
7081   guestfs_set_close_callback (g, incr, &close_sentinel);
7082
7083   guestfs_close (g);
7084
7085   if (close_sentinel != 2) {
7086     fprintf (stderr, \"close callback was not called\\n\");
7087     exit (EXIT_FAILURE);
7088   }
7089
7090   unlink (\"test1.img\");
7091   unlink (\"test2.img\");
7092   unlink (\"test3.img\");
7093
7094 ";
7095
7096   pr "  if (n_failed > 0) {\n";
7097   pr "    printf (\"***** %%lu / %%d tests FAILED *****\\n\", n_failed, nr_tests);\n";
7098   pr "    exit (EXIT_FAILURE);\n";
7099   pr "  }\n";
7100   pr "\n";
7101
7102   pr "  exit (EXIT_SUCCESS);\n";
7103   pr "}\n"
7104
7105 and generate_one_test name flags i (init, prereq, test) =
7106   let test_name = sprintf "test_%s_%d" name i in
7107
7108   pr "\
7109 static int %s_skip (void)
7110 {
7111   const char *str;
7112
7113   str = getenv (\"TEST_ONLY\");
7114   if (str)
7115     return strstr (str, \"%s\") == NULL;
7116   str = getenv (\"SKIP_%s\");
7117   if (str && STREQ (str, \"1\")) return 1;
7118   str = getenv (\"SKIP_TEST_%s\");
7119   if (str && STREQ (str, \"1\")) return 1;
7120   return 0;
7121 }
7122
7123 " test_name name (String.uppercase test_name) (String.uppercase name);
7124
7125   (match prereq with
7126    | Disabled | Always | IfAvailable _ -> ()
7127    | If code | Unless code ->
7128        pr "static int %s_prereq (void)\n" test_name;
7129        pr "{\n";
7130        pr "  %s\n" code;
7131        pr "}\n";
7132        pr "\n";
7133   );
7134
7135   pr "\
7136 static int %s (void)
7137 {
7138   if (%s_skip ()) {
7139     printf (\"        %%s skipped (reason: environment variable set)\\n\", \"%s\");
7140     return 0;
7141   }
7142
7143 " test_name test_name test_name;
7144
7145   (* Optional functions should only be tested if the relevant
7146    * support is available in the daemon.
7147    *)
7148   List.iter (
7149     function
7150     | Optional group ->
7151         pr "  if (!is_available (\"%s\")) {\n" group;
7152         pr "    printf (\"        %%s skipped (reason: group %%s not available in daemon)\\n\", \"%s\", \"%s\");\n" test_name group;
7153         pr "    return 0;\n";
7154         pr "  }\n";
7155     | _ -> ()
7156   ) flags;
7157
7158   (match prereq with
7159    | Disabled ->
7160        pr "  printf (\"        %%s skipped (reason: test disabled in generator)\\n\", \"%s\");\n" test_name
7161    | If _ ->
7162        pr "  if (! %s_prereq ()) {\n" test_name;
7163        pr "    printf (\"        %%s skipped (reason: test prerequisite)\\n\", \"%s\");\n" test_name;
7164        pr "    return 0;\n";
7165        pr "  }\n";
7166        pr "\n";
7167        generate_one_test_body name i test_name init test;
7168    | Unless _ ->
7169        pr "  if (%s_prereq ()) {\n" test_name;
7170        pr "    printf (\"        %%s skipped (reason: test prerequisite)\\n\", \"%s\");\n" test_name;
7171        pr "    return 0;\n";
7172        pr "  }\n";
7173        pr "\n";
7174        generate_one_test_body name i test_name init test;
7175    | IfAvailable group ->
7176        pr "  if (!is_available (\"%s\")) {\n" group;
7177        pr "    printf (\"        %%s skipped (reason: %%s not available)\\n\", \"%s\", \"%s\");\n" test_name group;
7178        pr "    return 0;\n";
7179        pr "  }\n";
7180        pr "\n";
7181        generate_one_test_body name i test_name init test;
7182    | Always ->
7183        generate_one_test_body name i test_name init test
7184   );
7185
7186   pr "  return 0;\n";
7187   pr "}\n";
7188   pr "\n";
7189   test_name
7190
7191 and generate_one_test_body name i test_name init test =
7192   (match init with
7193    | InitNone (* XXX at some point, InitNone and InitEmpty became
7194                * folded together as the same thing.  Really we should
7195                * make InitNone do nothing at all, but the tests may
7196                * need to be checked to make sure this is OK.
7197                *)
7198    | InitEmpty ->
7199        pr "  /* InitNone|InitEmpty for %s */\n" test_name;
7200        List.iter (generate_test_command_call test_name)
7201          [["blockdev_setrw"; "/dev/sda"];
7202           ["umount_all"];
7203           ["lvm_remove_all"]]
7204    | InitPartition ->
7205        pr "  /* InitPartition for %s: create /dev/sda1 */\n" test_name;
7206        List.iter (generate_test_command_call test_name)
7207          [["blockdev_setrw"; "/dev/sda"];
7208           ["umount_all"];
7209           ["lvm_remove_all"];
7210           ["part_disk"; "/dev/sda"; "mbr"]]
7211    | InitBasicFS ->
7212        pr "  /* InitBasicFS for %s: create ext2 on /dev/sda1 */\n" test_name;
7213        List.iter (generate_test_command_call test_name)
7214          [["blockdev_setrw"; "/dev/sda"];
7215           ["umount_all"];
7216           ["lvm_remove_all"];
7217           ["part_disk"; "/dev/sda"; "mbr"];
7218           ["mkfs"; "ext2"; "/dev/sda1"];
7219           ["mount_options"; ""; "/dev/sda1"; "/"]]
7220    | InitBasicFSonLVM ->
7221        pr "  /* InitBasicFSonLVM for %s: create ext2 on /dev/VG/LV */\n"
7222          test_name;
7223        List.iter (generate_test_command_call test_name)
7224          [["blockdev_setrw"; "/dev/sda"];
7225           ["umount_all"];
7226           ["lvm_remove_all"];
7227           ["part_disk"; "/dev/sda"; "mbr"];
7228           ["pvcreate"; "/dev/sda1"];
7229           ["vgcreate"; "VG"; "/dev/sda1"];
7230           ["lvcreate"; "LV"; "VG"; "8"];
7231           ["mkfs"; "ext2"; "/dev/VG/LV"];
7232           ["mount_options"; ""; "/dev/VG/LV"; "/"]]
7233    | InitISOFS ->
7234        pr "  /* InitISOFS for %s */\n" test_name;
7235        List.iter (generate_test_command_call test_name)
7236          [["blockdev_setrw"; "/dev/sda"];
7237           ["umount_all"];
7238           ["lvm_remove_all"];
7239           ["mount_ro"; "/dev/sdd"; "/"]]
7240   );
7241
7242   let get_seq_last = function
7243     | [] ->
7244         failwithf "%s: you cannot use [] (empty list) when expecting a command"
7245           test_name
7246     | seq ->
7247         let seq = List.rev seq in
7248         List.rev (List.tl seq), List.hd seq
7249   in
7250
7251   match test with
7252   | TestRun seq ->
7253       pr "  /* TestRun for %s (%d) */\n" name i;
7254       List.iter (generate_test_command_call test_name) seq
7255   | TestOutput (seq, expected) ->
7256       pr "  /* TestOutput for %s (%d) */\n" name i;
7257       pr "  const char *expected = \"%s\";\n" (c_quote expected);
7258       let seq, last = get_seq_last seq in
7259       let test () =
7260         pr "    if (STRNEQ (r, expected)) {\n";
7261         pr "      fprintf (stderr, \"%s: expected \\\"%%s\\\" but got \\\"%%s\\\"\\n\", expected, r);\n" test_name;
7262         pr "      return -1;\n";
7263         pr "    }\n"
7264       in
7265       List.iter (generate_test_command_call test_name) seq;
7266       generate_test_command_call ~test test_name last
7267   | TestOutputList (seq, expected) ->
7268       pr "  /* TestOutputList for %s (%d) */\n" name i;
7269       let seq, last = get_seq_last seq in
7270       let test () =
7271         iteri (
7272           fun i str ->
7273             pr "    if (!r[%d]) {\n" i;
7274             pr "      fprintf (stderr, \"%s: short list returned from command\\n\");\n" test_name;
7275             pr "      print_strings (r);\n";
7276             pr "      return -1;\n";
7277             pr "    }\n";
7278             pr "    {\n";
7279             pr "      const char *expected = \"%s\";\n" (c_quote str);
7280             pr "      if (STRNEQ (r[%d], expected)) {\n" i;
7281             pr "        fprintf (stderr, \"%s: expected \\\"%%s\\\" but got \\\"%%s\\\"\\n\", expected, r[%d]);\n" test_name i;
7282             pr "        return -1;\n";
7283             pr "      }\n";
7284             pr "    }\n"
7285         ) expected;
7286         pr "    if (r[%d] != NULL) {\n" (List.length expected);
7287         pr "      fprintf (stderr, \"%s: extra elements returned from command\\n\");\n"
7288           test_name;
7289         pr "      print_strings (r);\n";
7290         pr "      return -1;\n";
7291         pr "    }\n"
7292       in
7293       List.iter (generate_test_command_call test_name) seq;
7294       generate_test_command_call ~test test_name last
7295   | TestOutputListOfDevices (seq, expected) ->
7296       pr "  /* TestOutputListOfDevices for %s (%d) */\n" name i;
7297       let seq, last = get_seq_last seq in
7298       let test () =
7299         iteri (
7300           fun i str ->
7301             pr "    if (!r[%d]) {\n" i;
7302             pr "      fprintf (stderr, \"%s: short list returned from command\\n\");\n" test_name;
7303             pr "      print_strings (r);\n";
7304             pr "      return -1;\n";
7305             pr "    }\n";
7306             pr "    {\n";
7307             pr "      const char *expected = \"%s\";\n" (c_quote str);
7308             pr "      r[%d][5] = 's';\n" i;
7309             pr "      if (STRNEQ (r[%d], expected)) {\n" i;
7310             pr "        fprintf (stderr, \"%s: expected \\\"%%s\\\" but got \\\"%%s\\\"\\n\", expected, r[%d]);\n" test_name i;
7311             pr "        return -1;\n";
7312             pr "      }\n";
7313             pr "    }\n"
7314         ) expected;
7315         pr "    if (r[%d] != NULL) {\n" (List.length expected);
7316         pr "      fprintf (stderr, \"%s: extra elements returned from command\\n\");\n"
7317           test_name;
7318         pr "      print_strings (r);\n";
7319         pr "      return -1;\n";
7320         pr "    }\n"
7321       in
7322       List.iter (generate_test_command_call test_name) seq;
7323       generate_test_command_call ~test test_name last
7324   | TestOutputInt (seq, expected) ->
7325       pr "  /* TestOutputInt for %s (%d) */\n" name i;
7326       let seq, last = get_seq_last seq in
7327       let test () =
7328         pr "    if (r != %d) {\n" expected;
7329         pr "      fprintf (stderr, \"%s: expected %d but got %%d\\n\","
7330           test_name expected;
7331         pr "               (int) r);\n";
7332         pr "      return -1;\n";
7333         pr "    }\n"
7334       in
7335       List.iter (generate_test_command_call test_name) seq;
7336       generate_test_command_call ~test test_name last
7337   | TestOutputIntOp (seq, op, expected) ->
7338       pr "  /* TestOutputIntOp for %s (%d) */\n" name i;
7339       let seq, last = get_seq_last seq in
7340       let test () =
7341         pr "    if (! (r %s %d)) {\n" op expected;
7342         pr "      fprintf (stderr, \"%s: expected %s %d but got %%d\\n\","
7343           test_name op expected;
7344         pr "               (int) r);\n";
7345         pr "      return -1;\n";
7346         pr "    }\n"
7347       in
7348       List.iter (generate_test_command_call test_name) seq;
7349       generate_test_command_call ~test test_name last
7350   | TestOutputTrue seq ->
7351       pr "  /* TestOutputTrue for %s (%d) */\n" name i;
7352       let seq, last = get_seq_last seq in
7353       let test () =
7354         pr "    if (!r) {\n";
7355         pr "      fprintf (stderr, \"%s: expected true, got false\\n\");\n"
7356           test_name;
7357         pr "      return -1;\n";
7358         pr "    }\n"
7359       in
7360       List.iter (generate_test_command_call test_name) seq;
7361       generate_test_command_call ~test test_name last
7362   | TestOutputFalse seq ->
7363       pr "  /* TestOutputFalse for %s (%d) */\n" name i;
7364       let seq, last = get_seq_last seq in
7365       let test () =
7366         pr "    if (r) {\n";
7367         pr "      fprintf (stderr, \"%s: expected false, got true\\n\");\n"
7368           test_name;
7369         pr "      return -1;\n";
7370         pr "    }\n"
7371       in
7372       List.iter (generate_test_command_call test_name) seq;
7373       generate_test_command_call ~test test_name last
7374   | TestOutputLength (seq, expected) ->
7375       pr "  /* TestOutputLength for %s (%d) */\n" name i;
7376       let seq, last = get_seq_last seq in
7377       let test () =
7378         pr "    int j;\n";
7379         pr "    for (j = 0; j < %d; ++j)\n" expected;
7380         pr "      if (r[j] == NULL) {\n";
7381         pr "        fprintf (stderr, \"%s: short list returned\\n\");\n"
7382           test_name;
7383         pr "        print_strings (r);\n";
7384         pr "        return -1;\n";
7385         pr "      }\n";
7386         pr "    if (r[j] != NULL) {\n";
7387         pr "      fprintf (stderr, \"%s: long list returned\\n\");\n"
7388           test_name;
7389         pr "      print_strings (r);\n";
7390         pr "      return -1;\n";
7391         pr "    }\n"
7392       in
7393       List.iter (generate_test_command_call test_name) seq;
7394       generate_test_command_call ~test test_name last
7395   | TestOutputBuffer (seq, expected) ->
7396       pr "  /* TestOutputBuffer for %s (%d) */\n" name i;
7397       pr "  const char *expected = \"%s\";\n" (c_quote expected);
7398       let seq, last = get_seq_last seq in
7399       let len = String.length expected in
7400       let test () =
7401         pr "    if (size != %d) {\n" len;
7402         pr "      fprintf (stderr, \"%s: returned size of buffer wrong, expected %d but got %%zu\\n\", size);\n" test_name len;
7403         pr "      return -1;\n";
7404         pr "    }\n";
7405         pr "    if (STRNEQLEN (r, expected, size)) {\n";
7406         pr "      fprintf (stderr, \"%s: expected \\\"%%s\\\" but got \\\"%%s\\\"\\n\", expected, r);\n" test_name;
7407         pr "      return -1;\n";
7408         pr "    }\n"
7409       in
7410       List.iter (generate_test_command_call test_name) seq;
7411       generate_test_command_call ~test test_name last
7412   | TestOutputStruct (seq, checks) ->
7413       pr "  /* TestOutputStruct for %s (%d) */\n" name i;
7414       let seq, last = get_seq_last seq in
7415       let test () =
7416         List.iter (
7417           function
7418           | CompareWithInt (field, expected) ->
7419               pr "    if (r->%s != %d) {\n" field expected;
7420               pr "      fprintf (stderr, \"%s: %s was %%d, expected %d\\n\",\n"
7421                 test_name field expected;
7422               pr "               (int) r->%s);\n" field;
7423               pr "      return -1;\n";
7424               pr "    }\n"
7425           | CompareWithIntOp (field, op, expected) ->
7426               pr "    if (!(r->%s %s %d)) {\n" field op expected;
7427               pr "      fprintf (stderr, \"%s: %s was %%d, expected %s %d\\n\",\n"
7428                 test_name field op expected;
7429               pr "               (int) r->%s);\n" field;
7430               pr "      return -1;\n";
7431               pr "    }\n"
7432           | CompareWithString (field, expected) ->
7433               pr "    if (STRNEQ (r->%s, \"%s\")) {\n" field expected;
7434               pr "      fprintf (stderr, \"%s: %s was \"%%s\", expected \"%s\"\\n\",\n"
7435                 test_name field expected;
7436               pr "               r->%s);\n" field;
7437               pr "      return -1;\n";
7438               pr "    }\n"
7439           | CompareFieldsIntEq (field1, field2) ->
7440               pr "    if (r->%s != r->%s) {\n" field1 field2;
7441               pr "      fprintf (stderr, \"%s: %s (%%d) <> %s (%%d)\\n\",\n"
7442                 test_name field1 field2;
7443               pr "               (int) r->%s, (int) r->%s);\n" field1 field2;
7444               pr "      return -1;\n";
7445               pr "    }\n"
7446           | CompareFieldsStrEq (field1, field2) ->
7447               pr "    if (STRNEQ (r->%s, r->%s)) {\n" field1 field2;
7448               pr "      fprintf (stderr, \"%s: %s (\"%%s\") <> %s (\"%%s\")\\n\",\n"
7449                 test_name field1 field2;
7450               pr "               r->%s, r->%s);\n" field1 field2;
7451               pr "      return -1;\n";
7452               pr "    }\n"
7453         ) checks
7454       in
7455       List.iter (generate_test_command_call test_name) seq;
7456       generate_test_command_call ~test test_name last
7457   | TestLastFail seq ->
7458       pr "  /* TestLastFail for %s (%d) */\n" name i;
7459       let seq, last = get_seq_last seq in
7460       List.iter (generate_test_command_call test_name) seq;
7461       generate_test_command_call test_name ~expect_error:true last
7462
7463 (* Generate the code to run a command, leaving the result in 'r'.
7464  * If you expect to get an error then you should set expect_error:true.
7465  *)
7466 and generate_test_command_call ?(expect_error = false) ?test test_name cmd =
7467   match cmd with
7468   | [] -> assert false
7469   | name :: args ->
7470       (* Look up the command to find out what args/ret it has. *)
7471       let style =
7472         try
7473           let _, style, _, _, _, _, _ =
7474             List.find (fun (n, _, _, _, _, _, _) -> n = name) all_functions in
7475           style
7476         with Not_found ->
7477           failwithf "%s: in test, command %s was not found" test_name name in
7478
7479       if List.length (snd style) <> List.length args then
7480         failwithf "%s: in test, wrong number of args given to %s"
7481           test_name name;
7482
7483       pr "  {\n";
7484
7485       List.iter (
7486         function
7487         | OptString n, "NULL" -> ()
7488         | Pathname n, arg
7489         | Device n, arg
7490         | Dev_or_Path n, arg
7491         | String n, arg
7492         | OptString n, arg ->
7493             pr "    const char *%s = \"%s\";\n" n (c_quote arg);
7494         | BufferIn n, arg ->
7495             pr "    const char *%s = \"%s\";\n" n (c_quote arg);
7496             pr "    size_t %s_size = %d;\n" n (String.length arg)
7497         | Int _, _
7498         | Int64 _, _
7499         | Bool _, _
7500         | FileIn _, _ | FileOut _, _ -> ()
7501         | StringList n, "" | DeviceList n, "" ->
7502             pr "    const char *const %s[1] = { NULL };\n" n
7503         | StringList n, arg | DeviceList n, arg ->
7504             let strs = string_split " " arg in
7505             iteri (
7506               fun i str ->
7507                 pr "    const char *%s_%d = \"%s\";\n" n i (c_quote str);
7508             ) strs;
7509             pr "    const char *const %s[] = {\n" n;
7510             iteri (
7511               fun i _ -> pr "      %s_%d,\n" n i
7512             ) strs;
7513             pr "      NULL\n";
7514             pr "    };\n";
7515       ) (List.combine (snd style) args);
7516
7517       let error_code =
7518         match fst style with
7519         | RErr | RInt _ | RBool _ -> pr "    int r;\n"; "-1"
7520         | RInt64 _ -> pr "    int64_t r;\n"; "-1"
7521         | RConstString _ | RConstOptString _ ->
7522             pr "    const char *r;\n"; "NULL"
7523         | RString _ -> pr "    char *r;\n"; "NULL"
7524         | RStringList _ | RHashtable _ ->
7525             pr "    char **r;\n";
7526             pr "    int i;\n";
7527             "NULL"
7528         | RStruct (_, typ) ->
7529             pr "    struct guestfs_%s *r;\n" typ; "NULL"
7530         | RStructList (_, typ) ->
7531             pr "    struct guestfs_%s_list *r;\n" typ; "NULL"
7532         | RBufferOut _ ->
7533             pr "    char *r;\n";
7534             pr "    size_t size;\n";
7535             "NULL" in
7536
7537       pr "    suppress_error = %d;\n" (if expect_error then 1 else 0);
7538       pr "    r = guestfs_%s (g" name;
7539
7540       (* Generate the parameters. *)
7541       List.iter (
7542         function
7543         | OptString _, "NULL" -> pr ", NULL"
7544         | Pathname n, _
7545         | Device n, _ | Dev_or_Path n, _
7546         | String n, _
7547         | OptString n, _ ->
7548             pr ", %s" n
7549         | BufferIn n, _ ->
7550             pr ", %s, %s_size" n n
7551         | FileIn _, arg | FileOut _, arg ->
7552             pr ", \"%s\"" (c_quote arg)
7553         | StringList n, _ | DeviceList n, _ ->
7554             pr ", (char **) %s" n
7555         | Int _, arg ->
7556             let i =
7557               try int_of_string arg
7558               with Failure "int_of_string" ->
7559                 failwithf "%s: expecting an int, but got '%s'" test_name arg in
7560             pr ", %d" i
7561         | Int64 _, arg ->
7562             let i =
7563               try Int64.of_string arg
7564               with Failure "int_of_string" ->
7565                 failwithf "%s: expecting an int64, but got '%s'" test_name arg in
7566             pr ", %Ld" i
7567         | Bool _, arg ->
7568             let b = bool_of_string arg in pr ", %d" (if b then 1 else 0)
7569       ) (List.combine (snd style) args);
7570
7571       (match fst style with
7572        | RBufferOut _ -> pr ", &size"
7573        | _ -> ()
7574       );
7575
7576       pr ");\n";
7577
7578       if not expect_error then
7579         pr "    if (r == %s)\n" error_code
7580       else
7581         pr "    if (r != %s)\n" error_code;
7582       pr "      return -1;\n";
7583
7584       (* Insert the test code. *)
7585       (match test with
7586        | None -> ()
7587        | Some f -> f ()
7588       );
7589
7590       (match fst style with
7591        | RErr | RInt _ | RInt64 _ | RBool _
7592        | RConstString _ | RConstOptString _ -> ()
7593        | RString _ | RBufferOut _ -> pr "    free (r);\n"
7594        | RStringList _ | RHashtable _ ->
7595            pr "    for (i = 0; r[i] != NULL; ++i)\n";
7596            pr "      free (r[i]);\n";
7597            pr "    free (r);\n"
7598        | RStruct (_, typ) ->
7599            pr "    guestfs_free_%s (r);\n" typ
7600        | RStructList (_, typ) ->
7601            pr "    guestfs_free_%s_list (r);\n" typ
7602       );
7603
7604       pr "  }\n"
7605
7606 and c_quote str =
7607   let str = replace_str str "\r" "\\r" in
7608   let str = replace_str str "\n" "\\n" in
7609   let str = replace_str str "\t" "\\t" in
7610   let str = replace_str str "\000" "\\0" in
7611   str
7612
7613 (* Generate a lot of different functions for guestfish. *)
7614 and generate_fish_cmds () =
7615   generate_header CStyle GPLv2plus;
7616
7617   let all_functions =
7618     List.filter (
7619       fun (_, _, _, flags, _, _, _) -> not (List.mem NotInFish flags)
7620     ) all_functions in
7621   let all_functions_sorted =
7622     List.filter (
7623       fun (_, _, _, flags, _, _, _) -> not (List.mem NotInFish flags)
7624     ) all_functions_sorted in
7625
7626   pr "#include <config.h>\n";
7627   pr "\n";
7628   pr "#include <stdio.h>\n";
7629   pr "#include <stdlib.h>\n";
7630   pr "#include <string.h>\n";
7631   pr "#include <inttypes.h>\n";
7632   pr "\n";
7633   pr "#include <guestfs.h>\n";
7634   pr "#include \"c-ctype.h\"\n";
7635   pr "#include \"full-write.h\"\n";
7636   pr "#include \"xstrtol.h\"\n";
7637   pr "#include \"fish.h\"\n";
7638   pr "\n";
7639   pr "/* Valid suffixes allowed for numbers.  See Gnulib xstrtol function. */\n";
7640   pr "static const char *xstrtol_suffixes = \"0kKMGTPEZY\";\n";
7641   pr "\n";
7642
7643   (* list_commands function, which implements guestfish -h *)
7644   pr "void list_commands (void)\n";
7645   pr "{\n";
7646   pr "  printf (\"    %%-16s     %%s\\n\", _(\"Command\"), _(\"Description\"));\n";
7647   pr "  list_builtin_commands ();\n";
7648   List.iter (
7649     fun (name, _, _, flags, _, shortdesc, _) ->
7650       let name = replace_char name '_' '-' in
7651       pr "  printf (\"%%-20s %%s\\n\", \"%s\", _(\"%s\"));\n"
7652         name shortdesc
7653   ) all_functions_sorted;
7654   pr "  printf (\"    %%s\\n\",";
7655   pr "          _(\"Use -h <cmd> / help <cmd> to show detailed help for a command.\"));\n";
7656   pr "}\n";
7657   pr "\n";
7658
7659   (* display_command function, which implements guestfish -h cmd *)
7660   pr "int display_command (const char *cmd)\n";
7661   pr "{\n";
7662   List.iter (
7663     fun (name, style, _, flags, _, shortdesc, longdesc) ->
7664       let name2 = replace_char name '_' '-' in
7665       let alias =
7666         try find_map (function FishAlias n -> Some n | _ -> None) flags
7667         with Not_found -> name in
7668       let longdesc = replace_str longdesc "C<guestfs_" "C<" in
7669       let synopsis =
7670         match snd style with
7671         | [] -> name2
7672         | args ->
7673             sprintf "%s %s"
7674               name2 (String.concat " " (List.map name_of_argt args)) in
7675
7676       let warnings =
7677         if List.mem ProtocolLimitWarning flags then
7678           ("\n\n" ^ protocol_limit_warning)
7679         else "" in
7680
7681       (* For DangerWillRobinson commands, we should probably have
7682        * guestfish prompt before allowing you to use them (especially
7683        * in interactive mode). XXX
7684        *)
7685       let warnings =
7686         warnings ^
7687           if List.mem DangerWillRobinson flags then
7688             ("\n\n" ^ danger_will_robinson)
7689           else "" in
7690
7691       let warnings =
7692         warnings ^
7693           match deprecation_notice flags with
7694           | None -> ""
7695           | Some txt -> "\n\n" ^ txt in
7696
7697       let describe_alias =
7698         if name <> alias then
7699           sprintf "\n\nYou can use '%s' as an alias for this command." alias
7700         else "" in
7701
7702       pr "  if (";
7703       pr "STRCASEEQ (cmd, \"%s\")" name;
7704       if name <> name2 then
7705         pr " || STRCASEEQ (cmd, \"%s\")" name2;
7706       if name <> alias then
7707         pr " || STRCASEEQ (cmd, \"%s\")" alias;
7708       pr ") {\n";
7709       pr "    pod2text (\"%s\", _(\"%s\"), %S);\n"
7710         name2 shortdesc
7711         ("=head1 SYNOPSIS\n\n " ^ synopsis ^ "\n\n" ^
7712          "=head1 DESCRIPTION\n\n" ^
7713          longdesc ^ warnings ^ describe_alias);
7714       pr "    return 0;\n";
7715       pr "  }\n";
7716       pr "  else\n"
7717   ) all_functions;
7718   pr "    return display_builtin_command (cmd);\n";
7719   pr "}\n";
7720   pr "\n";
7721
7722   let emit_print_list_function typ =
7723     pr "static void print_%s_list (struct guestfs_%s_list *%ss)\n"
7724       typ typ typ;
7725     pr "{\n";
7726     pr "  unsigned int i;\n";
7727     pr "\n";
7728     pr "  for (i = 0; i < %ss->len; ++i) {\n" typ;
7729     pr "    printf (\"[%%d] = {\\n\", i);\n";
7730     pr "    print_%s_indent (&%ss->val[i], \"  \");\n" typ typ;
7731     pr "    printf (\"}\\n\");\n";
7732     pr "  }\n";
7733     pr "}\n";
7734     pr "\n";
7735   in
7736
7737   (* print_* functions *)
7738   List.iter (
7739     fun (typ, cols) ->
7740       let needs_i =
7741         List.exists (function (_, (FUUID|FBuffer)) -> true | _ -> false) cols in
7742
7743       pr "static void print_%s_indent (struct guestfs_%s *%s, const char *indent)\n" typ typ typ;
7744       pr "{\n";
7745       if needs_i then (
7746         pr "  unsigned int i;\n";
7747         pr "\n"
7748       );
7749       List.iter (
7750         function
7751         | name, FString ->
7752             pr "  printf (\"%%s%s: %%s\\n\", indent, %s->%s);\n" name typ name
7753         | name, FUUID ->
7754             pr "  printf (\"%%s%s: \", indent);\n" name;
7755             pr "  for (i = 0; i < 32; ++i)\n";
7756             pr "    printf (\"%%c\", %s->%s[i]);\n" typ name;
7757             pr "  printf (\"\\n\");\n"
7758         | name, FBuffer ->
7759             pr "  printf (\"%%s%s: \", indent);\n" name;
7760             pr "  for (i = 0; i < %s->%s_len; ++i)\n" typ name;
7761             pr "    if (c_isprint (%s->%s[i]))\n" typ name;
7762             pr "      printf (\"%%c\", %s->%s[i]);\n" typ name;
7763             pr "    else\n";
7764             pr "      printf (\"\\\\x%%02x\", %s->%s[i]);\n" typ name;
7765             pr "  printf (\"\\n\");\n"
7766         | name, (FUInt64|FBytes) ->
7767             pr "  printf (\"%%s%s: %%\" PRIu64 \"\\n\", indent, %s->%s);\n"
7768               name typ name
7769         | name, FInt64 ->
7770             pr "  printf (\"%%s%s: %%\" PRIi64 \"\\n\", indent, %s->%s);\n"
7771               name typ name
7772         | name, FUInt32 ->
7773             pr "  printf (\"%%s%s: %%\" PRIu32 \"\\n\", indent, %s->%s);\n"
7774               name typ name
7775         | name, FInt32 ->
7776             pr "  printf (\"%%s%s: %%\" PRIi32 \"\\n\", indent, %s->%s);\n"
7777               name typ name
7778         | name, FChar ->
7779             pr "  printf (\"%%s%s: %%c\\n\", indent, %s->%s);\n"
7780               name typ name
7781         | name, FOptPercent ->
7782             pr "  if (%s->%s >= 0) printf (\"%%s%s: %%g %%%%\\n\", indent, %s->%s);\n"
7783               typ name name typ name;
7784             pr "  else printf (\"%%s%s: \\n\", indent);\n" name
7785       ) cols;
7786       pr "}\n";
7787       pr "\n";
7788   ) structs;
7789
7790   (* Emit a print_TYPE_list function definition only if that function is used. *)
7791   List.iter (
7792     function
7793     | typ, (RStructListOnly | RStructAndList) ->
7794         (* generate the function for typ *)
7795         emit_print_list_function typ
7796     | typ, _ -> () (* empty *)
7797   ) (rstructs_used_by all_functions);
7798
7799   (* Emit a print_TYPE function definition only if that function is used. *)
7800   List.iter (
7801     function
7802     | typ, (RStructOnly | RStructAndList) ->
7803         pr "static void print_%s (struct guestfs_%s *%s)\n" typ typ typ;
7804         pr "{\n";
7805         pr "  print_%s_indent (%s, \"\");\n" typ typ;
7806         pr "}\n";
7807         pr "\n";
7808     | typ, _ -> () (* empty *)
7809   ) (rstructs_used_by all_functions);
7810
7811   (* run_<action> actions *)
7812   List.iter (
7813     fun (name, style, _, flags, _, _, _) ->
7814       pr "static int run_%s (const char *cmd, int argc, char *argv[])\n" name;
7815       pr "{\n";
7816       (match fst style with
7817        | RErr
7818        | RInt _
7819        | RBool _ -> pr "  int r;\n"
7820        | RInt64 _ -> pr "  int64_t r;\n"
7821        | RConstString _ | RConstOptString _ -> pr "  const char *r;\n"
7822        | RString _ -> pr "  char *r;\n"
7823        | RStringList _ | RHashtable _ -> pr "  char **r;\n"
7824        | RStruct (_, typ) -> pr "  struct guestfs_%s *r;\n" typ
7825        | RStructList (_, typ) -> pr "  struct guestfs_%s_list *r;\n" typ
7826        | RBufferOut _ ->
7827            pr "  char *r;\n";
7828            pr "  size_t size;\n";
7829       );
7830       List.iter (
7831         function
7832         | Device n
7833         | String n
7834         | OptString n -> pr "  const char *%s;\n" n
7835         | Pathname n
7836         | Dev_or_Path n
7837         | FileIn n
7838         | FileOut n -> pr "  char *%s;\n" n
7839         | BufferIn n ->
7840             pr "  const char *%s;\n" n;
7841             pr "  size_t %s_size;\n" n
7842         | StringList n | DeviceList n -> pr "  char **%s;\n" n
7843         | Bool n -> pr "  int %s;\n" n
7844         | Int n -> pr "  int %s;\n" n
7845         | Int64 n -> pr "  int64_t %s;\n" n
7846       ) (snd style);
7847
7848       (* Check and convert parameters. *)
7849       let argc_expected = List.length (snd style) in
7850       pr "  if (argc != %d) {\n" argc_expected;
7851       pr "    fprintf (stderr, _(\"%%s should have %%d parameter(s)\\n\"), cmd, %d);\n"
7852         argc_expected;
7853       pr "    fprintf (stderr, _(\"type 'help %%s' for help on %%s\\n\"), cmd, cmd);\n";
7854       pr "    return -1;\n";
7855       pr "  }\n";
7856
7857       let parse_integer fn fntyp rtyp range name i =
7858         pr "  {\n";
7859         pr "    strtol_error xerr;\n";
7860         pr "    %s r;\n" fntyp;
7861         pr "\n";
7862         pr "    xerr = %s (argv[%d], NULL, 0, &r, xstrtol_suffixes);\n" fn i;
7863         pr "    if (xerr != LONGINT_OK) {\n";
7864         pr "      fprintf (stderr,\n";
7865         pr "               _(\"%%s: %%s: invalid integer parameter (%%s returned %%d)\\n\"),\n";
7866         pr "               cmd, \"%s\", \"%s\", xerr);\n" name fn;
7867         pr "      return -1;\n";
7868         pr "    }\n";
7869         (match range with
7870          | None -> ()
7871          | Some (min, max, comment) ->
7872              pr "    /* %s */\n" comment;
7873              pr "    if (r < %s || r > %s) {\n" min max;
7874              pr "      fprintf (stderr, _(\"%%s: %%s: integer out of range\\n\"), cmd, \"%s\");\n"
7875                name;
7876              pr "      return -1;\n";
7877              pr "    }\n";
7878              pr "    /* The check above should ensure this assignment does not overflow. */\n";
7879         );
7880         pr "    %s = r;\n" name;
7881         pr "  }\n";
7882       in
7883
7884       iteri (
7885         fun i ->
7886           function
7887           | Device name
7888           | String name ->
7889               pr "  %s = argv[%d];\n" name i
7890           | Pathname name
7891           | Dev_or_Path name ->
7892               pr "  %s = resolve_win_path (argv[%d]);\n" name i;
7893               pr "  if (%s == NULL) return -1;\n" name
7894           | OptString name ->
7895               pr "  %s = STRNEQ (argv[%d], \"\") ? argv[%d] : NULL;\n"
7896                 name i i
7897           | BufferIn name ->
7898               pr "  %s = argv[%d];\n" name i;
7899               pr "  %s_size = strlen (argv[%d]);\n" name i
7900           | FileIn name ->
7901               pr "  %s = file_in (argv[%d]);\n" name i;
7902               pr "  if (%s == NULL) return -1;\n" name
7903           | FileOut name ->
7904               pr "  %s = file_out (argv[%d]);\n" name i;
7905               pr "  if (%s == NULL) return -1;\n" name
7906           | StringList name | DeviceList name ->
7907               pr "  %s = parse_string_list (argv[%d]);\n" name i;
7908               pr "  if (%s == NULL) return -1;\n" name;
7909           | Bool name ->
7910               pr "  %s = is_true (argv[%d]) ? 1 : 0;\n" name i
7911           | Int name ->
7912               let range =
7913                 let min = "(-(2LL<<30))"
7914                 and max = "((2LL<<30)-1)"
7915                 and comment =
7916                   "The Int type in the generator is a signed 31 bit int." in
7917                 Some (min, max, comment) in
7918               parse_integer "xstrtoll" "long long" "int" range name i
7919           | Int64 name ->
7920               parse_integer "xstrtoll" "long long" "int64_t" None name i
7921       ) (snd style);
7922
7923       (* Call C API function. *)
7924       pr "  r = guestfs_%s " name;
7925       generate_c_call_args ~handle:"g" style;
7926       pr ";\n";
7927
7928       List.iter (
7929         function
7930         | Device name | String name
7931         | OptString name | Bool name
7932         | Int name | Int64 name
7933         | BufferIn name -> ()
7934         | Pathname name | Dev_or_Path name | FileOut name ->
7935             pr "  free (%s);\n" name
7936         | FileIn name ->
7937             pr "  free_file_in (%s);\n" name
7938         | StringList name | DeviceList name ->
7939             pr "  free_strings (%s);\n" name
7940       ) (snd style);
7941
7942       (* Any output flags? *)
7943       let fish_output =
7944         let flags = filter_map (
7945           function FishOutput flag -> Some flag | _ -> None
7946         ) flags in
7947         match flags with
7948         | [] -> None
7949         | [f] -> Some f
7950         | _ ->
7951             failwithf "%s: more than one FishOutput flag is not allowed" name in
7952
7953       (* Check return value for errors and display command results. *)
7954       (match fst style with
7955        | RErr -> pr "  return r;\n"
7956        | RInt _ ->
7957            pr "  if (r == -1) return -1;\n";
7958            (match fish_output with
7959             | None ->
7960                 pr "  printf (\"%%d\\n\", r);\n";
7961             | Some FishOutputOctal ->
7962                 pr "  printf (\"%%s%%o\\n\", r != 0 ? \"0\" : \"\", r);\n";
7963             | Some FishOutputHexadecimal ->
7964                 pr "  printf (\"%%s%%x\\n\", r != 0 ? \"0x\" : \"\", r);\n");
7965            pr "  return 0;\n"
7966        | RInt64 _ ->
7967            pr "  if (r == -1) return -1;\n";
7968            (match fish_output with
7969             | None ->
7970                 pr "  printf (\"%%\" PRIi64 \"\\n\", r);\n";
7971             | Some FishOutputOctal ->
7972                 pr "  printf (\"%%s%%\" PRIo64 \"\\n\", r != 0 ? \"0\" : \"\", r);\n";
7973             | Some FishOutputHexadecimal ->
7974                 pr "  printf (\"%%s%%\" PRIx64 \"\\n\", r != 0 ? \"0x\" : \"\", r);\n");
7975            pr "  return 0;\n"
7976        | RBool _ ->
7977            pr "  if (r == -1) return -1;\n";
7978            pr "  if (r) printf (\"true\\n\"); else printf (\"false\\n\");\n";
7979            pr "  return 0;\n"
7980        | RConstString _ ->
7981            pr "  if (r == NULL) return -1;\n";
7982            pr "  printf (\"%%s\\n\", r);\n";
7983            pr "  return 0;\n"
7984        | RConstOptString _ ->
7985            pr "  printf (\"%%s\\n\", r ? : \"(null)\");\n";
7986            pr "  return 0;\n"
7987        | RString _ ->
7988            pr "  if (r == NULL) return -1;\n";
7989            pr "  printf (\"%%s\\n\", r);\n";
7990            pr "  free (r);\n";
7991            pr "  return 0;\n"
7992        | RStringList _ ->
7993            pr "  if (r == NULL) return -1;\n";
7994            pr "  print_strings (r);\n";
7995            pr "  free_strings (r);\n";
7996            pr "  return 0;\n"
7997        | RStruct (_, typ) ->
7998            pr "  if (r == NULL) return -1;\n";
7999            pr "  print_%s (r);\n" typ;
8000            pr "  guestfs_free_%s (r);\n" typ;
8001            pr "  return 0;\n"
8002        | RStructList (_, typ) ->
8003            pr "  if (r == NULL) return -1;\n";
8004            pr "  print_%s_list (r);\n" typ;
8005            pr "  guestfs_free_%s_list (r);\n" typ;
8006            pr "  return 0;\n"
8007        | RHashtable _ ->
8008            pr "  if (r == NULL) return -1;\n";
8009            pr "  print_table (r);\n";
8010            pr "  free_strings (r);\n";
8011            pr "  return 0;\n"
8012        | RBufferOut _ ->
8013            pr "  if (r == NULL) return -1;\n";
8014            pr "  if (full_write (1, r, size) != size) {\n";
8015            pr "    perror (\"write\");\n";
8016            pr "    free (r);\n";
8017            pr "    return -1;\n";
8018            pr "  }\n";
8019            pr "  free (r);\n";
8020            pr "  return 0;\n"
8021       );
8022       pr "}\n";
8023       pr "\n"
8024   ) all_functions;
8025
8026   (* run_action function *)
8027   pr "int run_action (const char *cmd, int argc, char *argv[])\n";
8028   pr "{\n";
8029   List.iter (
8030     fun (name, _, _, flags, _, _, _) ->
8031       let name2 = replace_char name '_' '-' in
8032       let alias =
8033         try find_map (function FishAlias n -> Some n | _ -> None) flags
8034         with Not_found -> name in
8035       pr "  if (";
8036       pr "STRCASEEQ (cmd, \"%s\")" name;
8037       if name <> name2 then
8038         pr " || STRCASEEQ (cmd, \"%s\")" name2;
8039       if name <> alias then
8040         pr " || STRCASEEQ (cmd, \"%s\")" alias;
8041       pr ")\n";
8042       pr "    return run_%s (cmd, argc, argv);\n" name;
8043       pr "  else\n";
8044   ) all_functions;
8045   pr "    {\n";
8046   pr "      fprintf (stderr, _(\"%%s: unknown command\\n\"), cmd);\n";
8047   pr "      if (command_num == 1)\n";
8048   pr "        extended_help_message ();\n";
8049   pr "      return -1;\n";
8050   pr "    }\n";
8051   pr "  return 0;\n";
8052   pr "}\n";
8053   pr "\n"
8054
8055 (* Readline completion for guestfish. *)
8056 and generate_fish_completion () =
8057   generate_header CStyle GPLv2plus;
8058
8059   let all_functions =
8060     List.filter (
8061       fun (_, _, _, flags, _, _, _) -> not (List.mem NotInFish flags)
8062     ) all_functions in
8063
8064   pr "\
8065 #include <config.h>
8066
8067 #include <stdio.h>
8068 #include <stdlib.h>
8069 #include <string.h>
8070
8071 #ifdef HAVE_LIBREADLINE
8072 #include <readline/readline.h>
8073 #endif
8074
8075 #include \"fish.h\"
8076
8077 #ifdef HAVE_LIBREADLINE
8078
8079 static const char *const commands[] = {
8080   BUILTIN_COMMANDS_FOR_COMPLETION,
8081 ";
8082
8083   (* Get the commands, including the aliases.  They don't need to be
8084    * sorted - the generator() function just does a dumb linear search.
8085    *)
8086   let commands =
8087     List.map (
8088       fun (name, _, _, flags, _, _, _) ->
8089         let name2 = replace_char name '_' '-' in
8090         let alias =
8091           try find_map (function FishAlias n -> Some n | _ -> None) flags
8092           with Not_found -> name in
8093
8094         if name <> alias then [name2; alias] else [name2]
8095     ) all_functions in
8096   let commands = List.flatten commands in
8097
8098   List.iter (pr "  \"%s\",\n") commands;
8099
8100   pr "  NULL
8101 };
8102
8103 static char *
8104 generator (const char *text, int state)
8105 {
8106   static int index, len;
8107   const char *name;
8108
8109   if (!state) {
8110     index = 0;
8111     len = strlen (text);
8112   }
8113
8114   rl_attempted_completion_over = 1;
8115
8116   while ((name = commands[index]) != NULL) {
8117     index++;
8118     if (STRCASEEQLEN (name, text, len))
8119       return strdup (name);
8120   }
8121
8122   return NULL;
8123 }
8124
8125 #endif /* HAVE_LIBREADLINE */
8126
8127 #ifdef HAVE_RL_COMPLETION_MATCHES
8128 #define RL_COMPLETION_MATCHES rl_completion_matches
8129 #else
8130 #ifdef HAVE_COMPLETION_MATCHES
8131 #define RL_COMPLETION_MATCHES completion_matches
8132 #endif
8133 #endif /* else just fail if we don't have either symbol */
8134
8135 char **
8136 do_completion (const char *text, int start, int end)
8137 {
8138   char **matches = NULL;
8139
8140 #ifdef HAVE_LIBREADLINE
8141   rl_completion_append_character = ' ';
8142
8143   if (start == 0)
8144     matches = RL_COMPLETION_MATCHES (text, generator);
8145   else if (complete_dest_paths)
8146     matches = RL_COMPLETION_MATCHES (text, complete_dest_paths_generator);
8147 #endif
8148
8149   return matches;
8150 }
8151 ";
8152
8153 (* Generate the POD documentation for guestfish. *)
8154 and generate_fish_actions_pod () =
8155   let all_functions_sorted =
8156     List.filter (
8157       fun (_, _, _, flags, _, _, _) ->
8158         not (List.mem NotInFish flags || List.mem NotInDocs flags)
8159     ) all_functions_sorted in
8160
8161   let rex = Str.regexp "C<guestfs_\\([^>]+\\)>" in
8162
8163   List.iter (
8164     fun (name, style, _, flags, _, _, longdesc) ->
8165       let longdesc =
8166         Str.global_substitute rex (
8167           fun s ->
8168             let sub =
8169               try Str.matched_group 1 s
8170               with Not_found ->
8171                 failwithf "error substituting C<guestfs_...> in longdesc of function %s" name in
8172             "C<" ^ replace_char sub '_' '-' ^ ">"
8173         ) longdesc in
8174       let name = replace_char name '_' '-' in
8175       let alias =
8176         try find_map (function FishAlias n -> Some n | _ -> None) flags
8177         with Not_found -> name in
8178
8179       pr "=head2 %s" name;
8180       if name <> alias then
8181         pr " | %s" alias;
8182       pr "\n";
8183       pr "\n";
8184       pr " %s" name;
8185       List.iter (
8186         function
8187         | Pathname n | Device n | Dev_or_Path n | String n -> pr " %s" n
8188         | OptString n -> pr " %s" n
8189         | StringList n | DeviceList n -> pr " '%s ...'" n
8190         | Bool _ -> pr " true|false"
8191         | Int n -> pr " %s" n
8192         | Int64 n -> pr " %s" n
8193         | FileIn n | FileOut n -> pr " (%s|-)" n
8194         | BufferIn n -> pr " %s" n
8195       ) (snd style);
8196       pr "\n";
8197       pr "\n";
8198       pr "%s\n\n" longdesc;
8199
8200       if List.exists (function FileIn _ | FileOut _ -> true
8201                       | _ -> false) (snd style) then
8202         pr "Use C<-> instead of a filename to read/write from stdin/stdout.\n\n";
8203
8204       if List.mem ProtocolLimitWarning flags then
8205         pr "%s\n\n" protocol_limit_warning;
8206
8207       if List.mem DangerWillRobinson flags then
8208         pr "%s\n\n" danger_will_robinson;
8209
8210       match deprecation_notice flags with
8211       | None -> ()
8212       | Some txt -> pr "%s\n\n" txt
8213   ) all_functions_sorted
8214
8215 (* Generate a C function prototype. *)
8216 and generate_prototype ?(extern = true) ?(static = false) ?(semicolon = true)
8217     ?(single_line = false) ?(newline = false) ?(in_daemon = false)
8218     ?(prefix = "")
8219     ?handle name style =
8220   if extern then pr "extern ";
8221   if static then pr "static ";
8222   (match fst style with
8223    | RErr -> pr "int "
8224    | RInt _ -> pr "int "
8225    | RInt64 _ -> pr "int64_t "
8226    | RBool _ -> pr "int "
8227    | RConstString _ | RConstOptString _ -> pr "const char *"
8228    | RString _ | RBufferOut _ -> pr "char *"
8229    | RStringList _ | RHashtable _ -> pr "char **"
8230    | RStruct (_, typ) ->
8231        if not in_daemon then pr "struct guestfs_%s *" typ
8232        else pr "guestfs_int_%s *" typ
8233    | RStructList (_, typ) ->
8234        if not in_daemon then pr "struct guestfs_%s_list *" typ
8235        else pr "guestfs_int_%s_list *" typ
8236   );
8237   let is_RBufferOut = match fst style with RBufferOut _ -> true | _ -> false in
8238   pr "%s%s (" prefix name;
8239   if handle = None && List.length (snd style) = 0 && not is_RBufferOut then
8240     pr "void"
8241   else (
8242     let comma = ref false in
8243     (match handle with
8244      | None -> ()
8245      | Some handle -> pr "guestfs_h *%s" handle; comma := true
8246     );
8247     let next () =
8248       if !comma then (
8249         if single_line then pr ", " else pr ",\n\t\t"
8250       );
8251       comma := true
8252     in
8253     List.iter (
8254       function
8255       | Pathname n
8256       | Device n | Dev_or_Path n
8257       | String n
8258       | OptString n ->
8259           next ();
8260           pr "const char *%s" n
8261       | StringList n | DeviceList n ->
8262           next ();
8263           pr "char *const *%s" n
8264       | Bool n -> next (); pr "int %s" n
8265       | Int n -> next (); pr "int %s" n
8266       | Int64 n -> next (); pr "int64_t %s" n
8267       | FileIn n
8268       | FileOut n ->
8269           if not in_daemon then (next (); pr "const char *%s" n)
8270       | BufferIn n ->
8271           next ();
8272           pr "const char *%s" n;
8273           next ();
8274           pr "size_t %s_size" n
8275     ) (snd style);
8276     if is_RBufferOut then (next (); pr "size_t *size_r");
8277   );
8278   pr ")";
8279   if semicolon then pr ";";
8280   if newline then pr "\n"
8281
8282 (* Generate C call arguments, eg "(handle, foo, bar)" *)
8283 and generate_c_call_args ?handle ?(decl = false) style =
8284   pr "(";
8285   let comma = ref false in
8286   let next () =
8287     if !comma then pr ", ";
8288     comma := true
8289   in
8290   (match handle with
8291    | None -> ()
8292    | Some handle -> pr "%s" handle; comma := true
8293   );
8294   List.iter (
8295     function
8296     | BufferIn n ->
8297         next ();
8298         pr "%s, %s_size" n n
8299     | arg ->
8300         next ();
8301         pr "%s" (name_of_argt arg)
8302   ) (snd style);
8303   (* For RBufferOut calls, add implicit &size parameter. *)
8304   if not decl then (
8305     match fst style with
8306     | RBufferOut _ ->
8307         next ();
8308         pr "&size"
8309     | _ -> ()
8310   );
8311   pr ")"
8312
8313 (* Generate the OCaml bindings interface. *)
8314 and generate_ocaml_mli () =
8315   generate_header OCamlStyle LGPLv2plus;
8316
8317   pr "\
8318 (** For API documentation you should refer to the C API
8319     in the guestfs(3) manual page.  The OCaml API uses almost
8320     exactly the same calls. *)
8321
8322 type t
8323 (** A [guestfs_h] handle. *)
8324
8325 exception Error of string
8326 (** This exception is raised when there is an error. *)
8327
8328 exception Handle_closed of string
8329 (** This exception is raised if you use a {!Guestfs.t} handle
8330     after calling {!close} on it.  The string is the name of
8331     the function. *)
8332
8333 val create : unit -> t
8334 (** Create a {!Guestfs.t} handle. *)
8335
8336 val close : t -> unit
8337 (** Close the {!Guestfs.t} handle and free up all resources used
8338     by it immediately.
8339
8340     Handles are closed by the garbage collector when they become
8341     unreferenced, but callers can call this in order to provide
8342     predictable cleanup. *)
8343
8344 ";
8345   generate_ocaml_structure_decls ();
8346
8347   (* The actions. *)
8348   List.iter (
8349     fun (name, style, _, _, _, shortdesc, _) ->
8350       generate_ocaml_prototype name style;
8351       pr "(** %s *)\n" shortdesc;
8352       pr "\n"
8353   ) all_functions_sorted
8354
8355 (* Generate the OCaml bindings implementation. *)
8356 and generate_ocaml_ml () =
8357   generate_header OCamlStyle LGPLv2plus;
8358
8359   pr "\
8360 type t
8361
8362 exception Error of string
8363 exception Handle_closed of string
8364
8365 external create : unit -> t = \"ocaml_guestfs_create\"
8366 external close : t -> unit = \"ocaml_guestfs_close\"
8367
8368 (* Give the exceptions names, so they can be raised from the C code. *)
8369 let () =
8370   Callback.register_exception \"ocaml_guestfs_error\" (Error \"\");
8371   Callback.register_exception \"ocaml_guestfs_closed\" (Handle_closed \"\")
8372
8373 ";
8374
8375   generate_ocaml_structure_decls ();
8376
8377   (* The actions. *)
8378   List.iter (
8379     fun (name, style, _, _, _, shortdesc, _) ->
8380       generate_ocaml_prototype ~is_external:true name style;
8381   ) all_functions_sorted
8382
8383 (* Generate the OCaml bindings C implementation. *)
8384 and generate_ocaml_c () =
8385   generate_header CStyle LGPLv2plus;
8386
8387   pr "\
8388 #include <stdio.h>
8389 #include <stdlib.h>
8390 #include <string.h>
8391
8392 #include <caml/config.h>
8393 #include <caml/alloc.h>
8394 #include <caml/callback.h>
8395 #include <caml/fail.h>
8396 #include <caml/memory.h>
8397 #include <caml/mlvalues.h>
8398 #include <caml/signals.h>
8399
8400 #include \"guestfs.h\"
8401
8402 #include \"guestfs_c.h\"
8403
8404 /* Copy a hashtable of string pairs into an assoc-list.  We return
8405  * the list in reverse order, but hashtables aren't supposed to be
8406  * ordered anyway.
8407  */
8408 static CAMLprim value
8409 copy_table (char * const * argv)
8410 {
8411   CAMLparam0 ();
8412   CAMLlocal5 (rv, pairv, kv, vv, cons);
8413   int i;
8414
8415   rv = Val_int (0);
8416   for (i = 0; argv[i] != NULL; i += 2) {
8417     kv = caml_copy_string (argv[i]);
8418     vv = caml_copy_string (argv[i+1]);
8419     pairv = caml_alloc (2, 0);
8420     Store_field (pairv, 0, kv);
8421     Store_field (pairv, 1, vv);
8422     cons = caml_alloc (2, 0);
8423     Store_field (cons, 1, rv);
8424     rv = cons;
8425     Store_field (cons, 0, pairv);
8426   }
8427
8428   CAMLreturn (rv);
8429 }
8430
8431 ";
8432
8433   (* Struct copy functions. *)
8434
8435   let emit_ocaml_copy_list_function typ =
8436     pr "static CAMLprim value\n";
8437     pr "copy_%s_list (const struct guestfs_%s_list *%ss)\n" typ typ typ;
8438     pr "{\n";
8439     pr "  CAMLparam0 ();\n";
8440     pr "  CAMLlocal2 (rv, v);\n";
8441     pr "  unsigned int i;\n";
8442     pr "\n";
8443     pr "  if (%ss->len == 0)\n" typ;
8444     pr "    CAMLreturn (Atom (0));\n";
8445     pr "  else {\n";
8446     pr "    rv = caml_alloc (%ss->len, 0);\n" typ;
8447     pr "    for (i = 0; i < %ss->len; ++i) {\n" typ;
8448     pr "      v = copy_%s (&%ss->val[i]);\n" typ typ;
8449     pr "      caml_modify (&Field (rv, i), v);\n";
8450     pr "    }\n";
8451     pr "    CAMLreturn (rv);\n";
8452     pr "  }\n";
8453     pr "}\n";
8454     pr "\n";
8455   in
8456
8457   List.iter (
8458     fun (typ, cols) ->
8459       let has_optpercent_col =
8460         List.exists (function (_, FOptPercent) -> true | _ -> false) cols in
8461
8462       pr "static CAMLprim value\n";
8463       pr "copy_%s (const struct guestfs_%s *%s)\n" typ typ typ;
8464       pr "{\n";
8465       pr "  CAMLparam0 ();\n";
8466       if has_optpercent_col then
8467         pr "  CAMLlocal3 (rv, v, v2);\n"
8468       else
8469         pr "  CAMLlocal2 (rv, v);\n";
8470       pr "\n";
8471       pr "  rv = caml_alloc (%d, 0);\n" (List.length cols);
8472       iteri (
8473         fun i col ->
8474           (match col with
8475            | name, FString ->
8476                pr "  v = caml_copy_string (%s->%s);\n" typ name
8477            | name, FBuffer ->
8478                pr "  v = caml_alloc_string (%s->%s_len);\n" typ name;
8479                pr "  memcpy (String_val (v), %s->%s, %s->%s_len);\n"
8480                  typ name typ name
8481            | name, FUUID ->
8482                pr "  v = caml_alloc_string (32);\n";
8483                pr "  memcpy (String_val (v), %s->%s, 32);\n" typ name
8484            | name, (FBytes|FInt64|FUInt64) ->
8485                pr "  v = caml_copy_int64 (%s->%s);\n" typ name
8486            | name, (FInt32|FUInt32) ->
8487                pr "  v = caml_copy_int32 (%s->%s);\n" typ name
8488            | name, FOptPercent ->
8489                pr "  if (%s->%s >= 0) { /* Some %s */\n" typ name name;
8490                pr "    v2 = caml_copy_double (%s->%s);\n" typ name;
8491                pr "    v = caml_alloc (1, 0);\n";
8492                pr "    Store_field (v, 0, v2);\n";
8493                pr "  } else /* None */\n";
8494                pr "    v = Val_int (0);\n";
8495            | name, FChar ->
8496                pr "  v = Val_int (%s->%s);\n" typ name
8497           );
8498           pr "  Store_field (rv, %d, v);\n" i
8499       ) cols;
8500       pr "  CAMLreturn (rv);\n";
8501       pr "}\n";
8502       pr "\n";
8503   ) structs;
8504
8505   (* Emit a copy_TYPE_list function definition only if that function is used. *)
8506   List.iter (
8507     function
8508     | typ, (RStructListOnly | RStructAndList) ->
8509         (* generate the function for typ *)
8510         emit_ocaml_copy_list_function typ
8511     | typ, _ -> () (* empty *)
8512   ) (rstructs_used_by all_functions);
8513
8514   (* The wrappers. *)
8515   List.iter (
8516     fun (name, style, _, _, _, _, _) ->
8517       pr "/* Automatically generated wrapper for function\n";
8518       pr " * ";
8519       generate_ocaml_prototype name style;
8520       pr " */\n";
8521       pr "\n";
8522
8523       let params =
8524         "gv" :: List.map (fun arg -> name_of_argt arg ^ "v") (snd style) in
8525
8526       let needs_extra_vs =
8527         match fst style with RConstOptString _ -> true | _ -> false in
8528
8529       pr "/* Emit prototype to appease gcc's -Wmissing-prototypes. */\n";
8530       pr "CAMLprim value ocaml_guestfs_%s (value %s" name (List.hd params);
8531       List.iter (pr ", value %s") (List.tl params); pr ");\n";
8532       pr "\n";
8533
8534       pr "CAMLprim value\n";
8535       pr "ocaml_guestfs_%s (value %s" name (List.hd params);
8536       List.iter (pr ", value %s") (List.tl params);
8537       pr ")\n";
8538       pr "{\n";
8539
8540       (match params with
8541        | [p1; p2; p3; p4; p5] ->
8542            pr "  CAMLparam5 (%s);\n" (String.concat ", " params)
8543        | p1 :: p2 :: p3 :: p4 :: p5 :: rest ->
8544            pr "  CAMLparam5 (%s);\n" (String.concat ", " [p1; p2; p3; p4; p5]);
8545            pr "  CAMLxparam%d (%s);\n"
8546              (List.length rest) (String.concat ", " rest)
8547        | ps ->
8548            pr "  CAMLparam%d (%s);\n" (List.length ps) (String.concat ", " ps)
8549       );
8550       if not needs_extra_vs then
8551         pr "  CAMLlocal1 (rv);\n"
8552       else
8553         pr "  CAMLlocal3 (rv, v, v2);\n";
8554       pr "\n";
8555
8556       pr "  guestfs_h *g = Guestfs_val (gv);\n";
8557       pr "  if (g == NULL)\n";
8558       pr "    ocaml_guestfs_raise_closed (\"%s\");\n" name;
8559       pr "\n";
8560
8561       List.iter (
8562         function
8563         | Pathname n
8564         | Device n | Dev_or_Path n
8565         | String n
8566         | FileIn n
8567         | FileOut n ->
8568             (* Copy strings in case the GC moves them: RHBZ#604691 *)
8569             pr "  char *%s = guestfs_safe_strdup (g, String_val (%sv));\n" n n
8570         | OptString n ->
8571             pr "  char *%s =\n" n;
8572             pr "    %sv != Val_int (0) ?" n;
8573             pr "      guestfs_safe_strdup (g, String_val (Field (%sv, 0))) : NULL;\n" n
8574         | BufferIn n ->
8575             pr "  size_t %s_size = caml_string_length (%sv);\n" n n;
8576             pr "  char *%s = guestfs_safe_memdup (g, String_val (%sv), %s_size);\n" n n n
8577         | StringList n | DeviceList n ->
8578             pr "  char **%s = ocaml_guestfs_strings_val (g, %sv);\n" n n
8579         | Bool n ->
8580             pr "  int %s = Bool_val (%sv);\n" n n
8581         | Int n ->
8582             pr "  int %s = Int_val (%sv);\n" n n
8583         | Int64 n ->
8584             pr "  int64_t %s = Int64_val (%sv);\n" n n
8585       ) (snd style);
8586       let error_code =
8587         match fst style with
8588         | RErr -> pr "  int r;\n"; "-1"
8589         | RInt _ -> pr "  int r;\n"; "-1"
8590         | RInt64 _ -> pr "  int64_t r;\n"; "-1"
8591         | RBool _ -> pr "  int r;\n"; "-1"
8592         | RConstString _ | RConstOptString _ ->
8593             pr "  const char *r;\n"; "NULL"
8594         | RString _ -> pr "  char *r;\n"; "NULL"
8595         | RStringList _ ->
8596             pr "  int i;\n";
8597             pr "  char **r;\n";
8598             "NULL"
8599         | RStruct (_, typ) ->
8600             pr "  struct guestfs_%s *r;\n" typ; "NULL"
8601         | RStructList (_, typ) ->
8602             pr "  struct guestfs_%s_list *r;\n" typ; "NULL"
8603         | RHashtable _ ->
8604             pr "  int i;\n";
8605             pr "  char **r;\n";
8606             "NULL"
8607         | RBufferOut _ ->
8608             pr "  char *r;\n";
8609             pr "  size_t size;\n";
8610             "NULL" in
8611       pr "\n";
8612
8613       pr "  caml_enter_blocking_section ();\n";
8614       pr "  r = guestfs_%s " name;
8615       generate_c_call_args ~handle:"g" style;
8616       pr ";\n";
8617       pr "  caml_leave_blocking_section ();\n";
8618
8619       (* Free strings if we copied them above. *)
8620       List.iter (
8621         function
8622         | Pathname n | Device n | Dev_or_Path n | String n | OptString n
8623         | FileIn n | FileOut n | BufferIn n ->
8624             pr "  free (%s);\n" n
8625         | StringList n | DeviceList n ->
8626             pr "  ocaml_guestfs_free_strings (%s);\n" n;
8627         | Bool _ | Int _ | Int64 _ -> ()
8628       ) (snd style);
8629
8630       pr "  if (r == %s)\n" error_code;
8631       pr "    ocaml_guestfs_raise_error (g, \"%s\");\n" name;
8632       pr "\n";
8633
8634       (match fst style with
8635        | RErr -> pr "  rv = Val_unit;\n"
8636        | RInt _ -> pr "  rv = Val_int (r);\n"
8637        | RInt64 _ ->
8638            pr "  rv = caml_copy_int64 (r);\n"
8639        | RBool _ -> pr "  rv = Val_bool (r);\n"
8640        | RConstString _ ->
8641            pr "  rv = caml_copy_string (r);\n"
8642        | RConstOptString _ ->
8643            pr "  if (r) { /* Some string */\n";
8644            pr "    v = caml_alloc (1, 0);\n";
8645            pr "    v2 = caml_copy_string (r);\n";
8646            pr "    Store_field (v, 0, v2);\n";
8647            pr "  } else /* None */\n";
8648            pr "    v = Val_int (0);\n";
8649        | RString _ ->
8650            pr "  rv = caml_copy_string (r);\n";
8651            pr "  free (r);\n"
8652        | RStringList _ ->
8653            pr "  rv = caml_copy_string_array ((const char **) r);\n";
8654            pr "  for (i = 0; r[i] != NULL; ++i) free (r[i]);\n";
8655            pr "  free (r);\n"
8656        | RStruct (_, typ) ->
8657            pr "  rv = copy_%s (r);\n" typ;
8658            pr "  guestfs_free_%s (r);\n" typ;
8659        | RStructList (_, typ) ->
8660            pr "  rv = copy_%s_list (r);\n" typ;
8661            pr "  guestfs_free_%s_list (r);\n" typ;
8662        | RHashtable _ ->
8663            pr "  rv = copy_table (r);\n";
8664            pr "  for (i = 0; r[i] != NULL; ++i) free (r[i]);\n";
8665            pr "  free (r);\n";
8666        | RBufferOut _ ->
8667            pr "  rv = caml_alloc_string (size);\n";
8668            pr "  memcpy (String_val (rv), r, size);\n";
8669       );
8670
8671       pr "  CAMLreturn (rv);\n";
8672       pr "}\n";
8673       pr "\n";
8674
8675       if List.length params > 5 then (
8676         pr "/* Emit prototype to appease gcc's -Wmissing-prototypes. */\n";
8677         pr "CAMLprim value ";
8678         pr "ocaml_guestfs_%s_byte (value *argv, int argn);\n" name;
8679         pr "CAMLprim value\n";
8680         pr "ocaml_guestfs_%s_byte (value *argv, int argn)\n" name;
8681         pr "{\n";
8682         pr "  return ocaml_guestfs_%s (argv[0]" name;
8683         iteri (fun i _ -> pr ", argv[%d]" i) (List.tl params);
8684         pr ");\n";
8685         pr "}\n";
8686         pr "\n"
8687       )
8688   ) all_functions_sorted
8689
8690 and generate_ocaml_structure_decls () =
8691   List.iter (
8692     fun (typ, cols) ->
8693       pr "type %s = {\n" typ;
8694       List.iter (
8695         function
8696         | name, FString -> pr "  %s : string;\n" name
8697         | name, FBuffer -> pr "  %s : string;\n" name
8698         | name, FUUID -> pr "  %s : string;\n" name
8699         | name, (FBytes|FInt64|FUInt64) -> pr "  %s : int64;\n" name
8700         | name, (FInt32|FUInt32) -> pr "  %s : int32;\n" name
8701         | name, FChar -> pr "  %s : char;\n" name
8702         | name, FOptPercent -> pr "  %s : float option;\n" name
8703       ) cols;
8704       pr "}\n";
8705       pr "\n"
8706   ) structs
8707
8708 and generate_ocaml_prototype ?(is_external = false) name style =
8709   if is_external then pr "external " else pr "val ";
8710   pr "%s : t -> " name;
8711   List.iter (
8712     function
8713     | Pathname _ | Device _ | Dev_or_Path _ | String _ | FileIn _ | FileOut _
8714     | BufferIn _ -> pr "string -> "
8715     | OptString _ -> pr "string option -> "
8716     | StringList _ | DeviceList _ -> pr "string array -> "
8717     | Bool _ -> pr "bool -> "
8718     | Int _ -> pr "int -> "
8719     | Int64 _ -> pr "int64 -> "
8720   ) (snd style);
8721   (match fst style with
8722    | RErr -> pr "unit" (* all errors are turned into exceptions *)
8723    | RInt _ -> pr "int"
8724    | RInt64 _ -> pr "int64"
8725    | RBool _ -> pr "bool"
8726    | RConstString _ -> pr "string"
8727    | RConstOptString _ -> pr "string option"
8728    | RString _ | RBufferOut _ -> pr "string"
8729    | RStringList _ -> pr "string array"
8730    | RStruct (_, typ) -> pr "%s" typ
8731    | RStructList (_, typ) -> pr "%s array" typ
8732    | RHashtable _ -> pr "(string * string) list"
8733   );
8734   if is_external then (
8735     pr " = ";
8736     if List.length (snd style) + 1 > 5 then
8737       pr "\"ocaml_guestfs_%s_byte\" " name;
8738     pr "\"ocaml_guestfs_%s\"" name
8739   );
8740   pr "\n"
8741
8742 (* Generate Perl xs code, a sort of crazy variation of C with macros. *)
8743 and generate_perl_xs () =
8744   generate_header CStyle LGPLv2plus;
8745
8746   pr "\
8747 #include \"EXTERN.h\"
8748 #include \"perl.h\"
8749 #include \"XSUB.h\"
8750
8751 #include <guestfs.h>
8752
8753 #ifndef PRId64
8754 #define PRId64 \"lld\"
8755 #endif
8756
8757 static SV *
8758 my_newSVll(long long val) {
8759 #ifdef USE_64_BIT_ALL
8760   return newSViv(val);
8761 #else
8762   char buf[100];
8763   int len;
8764   len = snprintf(buf, 100, \"%%\" PRId64, val);
8765   return newSVpv(buf, len);
8766 #endif
8767 }
8768
8769 #ifndef PRIu64
8770 #define PRIu64 \"llu\"
8771 #endif
8772
8773 static SV *
8774 my_newSVull(unsigned long long val) {
8775 #ifdef USE_64_BIT_ALL
8776   return newSVuv(val);
8777 #else
8778   char buf[100];
8779   int len;
8780   len = snprintf(buf, 100, \"%%\" PRIu64, val);
8781   return newSVpv(buf, len);
8782 #endif
8783 }
8784
8785 /* http://www.perlmonks.org/?node_id=680842 */
8786 static char **
8787 XS_unpack_charPtrPtr (SV *arg) {
8788   char **ret;
8789   AV *av;
8790   I32 i;
8791
8792   if (!arg || !SvOK (arg) || !SvROK (arg) || SvTYPE (SvRV (arg)) != SVt_PVAV)
8793     croak (\"array reference expected\");
8794
8795   av = (AV *)SvRV (arg);
8796   ret = malloc ((av_len (av) + 1 + 1) * sizeof (char *));
8797   if (!ret)
8798     croak (\"malloc failed\");
8799
8800   for (i = 0; i <= av_len (av); i++) {
8801     SV **elem = av_fetch (av, i, 0);
8802
8803     if (!elem || !*elem)
8804       croak (\"missing element in list\");
8805
8806     ret[i] = SvPV_nolen (*elem);
8807   }
8808
8809   ret[i] = NULL;
8810
8811   return ret;
8812 }
8813
8814 MODULE = Sys::Guestfs  PACKAGE = Sys::Guestfs
8815
8816 PROTOTYPES: ENABLE
8817
8818 guestfs_h *
8819 _create ()
8820    CODE:
8821       RETVAL = guestfs_create ();
8822       if (!RETVAL)
8823         croak (\"could not create guestfs handle\");
8824       guestfs_set_error_handler (RETVAL, NULL, NULL);
8825  OUTPUT:
8826       RETVAL
8827
8828 void
8829 DESTROY (sv)
8830       SV *sv;
8831  PPCODE:
8832       /* For the 'g' argument above we do the conversion explicitly and
8833        * don't rely on the typemap, because if the handle has been
8834        * explicitly closed we don't want the typemap conversion to
8835        * display an error.
8836        */
8837       HV *hv = (HV *) SvRV (sv);
8838       SV **svp = hv_fetch (hv, \"_g\", 2, 0);
8839       if (svp != NULL) {
8840         guestfs_h *g = (guestfs_h *) SvIV (*svp);
8841         assert (g != NULL);
8842         guestfs_close (g);
8843       }
8844
8845 void
8846 close (g)
8847       guestfs_h *g;
8848  PPCODE:
8849       guestfs_close (g);
8850       /* Avoid double-free in DESTROY method. */
8851       HV *hv = (HV *) SvRV (ST(0));
8852       (void) hv_delete (hv, \"_g\", 2, G_DISCARD);
8853
8854 ";
8855
8856   List.iter (
8857     fun (name, style, _, _, _, _, _) ->
8858       (match fst style with
8859        | RErr -> pr "void\n"
8860        | RInt _ -> pr "SV *\n"
8861        | RInt64 _ -> pr "SV *\n"
8862        | RBool _ -> pr "SV *\n"
8863        | RConstString _ -> pr "SV *\n"
8864        | RConstOptString _ -> pr "SV *\n"
8865        | RString _ -> pr "SV *\n"
8866        | RBufferOut _ -> pr "SV *\n"
8867        | RStringList _
8868        | RStruct _ | RStructList _
8869        | RHashtable _ ->
8870            pr "void\n" (* all lists returned implictly on the stack *)
8871       );
8872       (* Call and arguments. *)
8873       pr "%s (g" name;
8874       List.iter (
8875         fun arg -> pr ", %s" (name_of_argt arg)
8876       ) (snd style);
8877       pr ")\n";
8878       pr "      guestfs_h *g;\n";
8879       iteri (
8880         fun i ->
8881           function
8882           | Pathname n | Device n | Dev_or_Path n | String n
8883           | FileIn n | FileOut n ->
8884               pr "      char *%s;\n" n
8885           | BufferIn n ->
8886               pr "      char *%s;\n" n;
8887               pr "      size_t %s_size = SvCUR (ST(%d));\n" n (i+1)
8888           | OptString n ->
8889               (* http://www.perlmonks.org/?node_id=554277
8890                * Note that the implicit handle argument means we have
8891                * to add 1 to the ST(x) operator.
8892                *)
8893               pr "      char *%s = SvOK(ST(%d)) ? SvPV_nolen(ST(%d)) : NULL;\n" n (i+1) (i+1)
8894           | StringList n | DeviceList n -> pr "      char **%s;\n" n
8895           | Bool n -> pr "      int %s;\n" n
8896           | Int n -> pr "      int %s;\n" n
8897           | Int64 n -> pr "      int64_t %s;\n" n
8898       ) (snd style);
8899
8900       let do_cleanups () =
8901         List.iter (
8902           function
8903           | Pathname _ | Device _ | Dev_or_Path _ | String _ | OptString _
8904           | Bool _ | Int _ | Int64 _
8905           | FileIn _ | FileOut _
8906           | BufferIn _ -> ()
8907           | StringList n | DeviceList n -> pr "      free (%s);\n" n
8908         ) (snd style)
8909       in
8910
8911       (* Code. *)
8912       (match fst style with
8913        | RErr ->
8914            pr "PREINIT:\n";
8915            pr "      int r;\n";
8916            pr " PPCODE:\n";
8917            pr "      r = guestfs_%s " name;
8918            generate_c_call_args ~handle:"g" style;
8919            pr ";\n";
8920            do_cleanups ();
8921            pr "      if (r == -1)\n";
8922            pr "        croak (\"%%s\", guestfs_last_error (g));\n";
8923        | RInt n
8924        | RBool n ->
8925            pr "PREINIT:\n";
8926            pr "      int %s;\n" n;
8927            pr "   CODE:\n";
8928            pr "      %s = guestfs_%s " n name;
8929            generate_c_call_args ~handle:"g" style;
8930            pr ";\n";
8931            do_cleanups ();
8932            pr "      if (%s == -1)\n" n;
8933            pr "        croak (\"%%s\", guestfs_last_error (g));\n";
8934            pr "      RETVAL = newSViv (%s);\n" n;
8935            pr " OUTPUT:\n";
8936            pr "      RETVAL\n"
8937        | RInt64 n ->
8938            pr "PREINIT:\n";
8939            pr "      int64_t %s;\n" n;
8940            pr "   CODE:\n";
8941            pr "      %s = guestfs_%s " n name;
8942            generate_c_call_args ~handle:"g" style;
8943            pr ";\n";
8944            do_cleanups ();
8945            pr "      if (%s == -1)\n" n;
8946            pr "        croak (\"%%s\", guestfs_last_error (g));\n";
8947            pr "      RETVAL = my_newSVll (%s);\n" n;
8948            pr " OUTPUT:\n";
8949            pr "      RETVAL\n"
8950        | RConstString n ->
8951            pr "PREINIT:\n";
8952            pr "      const char *%s;\n" n;
8953            pr "   CODE:\n";
8954            pr "      %s = guestfs_%s " n name;
8955            generate_c_call_args ~handle:"g" style;
8956            pr ";\n";
8957            do_cleanups ();
8958            pr "      if (%s == NULL)\n" n;
8959            pr "        croak (\"%%s\", guestfs_last_error (g));\n";
8960            pr "      RETVAL = newSVpv (%s, 0);\n" n;
8961            pr " OUTPUT:\n";
8962            pr "      RETVAL\n"
8963        | RConstOptString n ->
8964            pr "PREINIT:\n";
8965            pr "      const char *%s;\n" n;
8966            pr "   CODE:\n";
8967            pr "      %s = guestfs_%s " n name;
8968            generate_c_call_args ~handle:"g" style;
8969            pr ";\n";
8970            do_cleanups ();
8971            pr "      if (%s == NULL)\n" n;
8972            pr "        RETVAL = &PL_sv_undef;\n";
8973            pr "      else\n";
8974            pr "        RETVAL = newSVpv (%s, 0);\n" n;
8975            pr " OUTPUT:\n";
8976            pr "      RETVAL\n"
8977        | RString n ->
8978            pr "PREINIT:\n";
8979            pr "      char *%s;\n" n;
8980            pr "   CODE:\n";
8981            pr "      %s = guestfs_%s " n name;
8982            generate_c_call_args ~handle:"g" style;
8983            pr ";\n";
8984            do_cleanups ();
8985            pr "      if (%s == NULL)\n" n;
8986            pr "        croak (\"%%s\", guestfs_last_error (g));\n";
8987            pr "      RETVAL = newSVpv (%s, 0);\n" n;
8988            pr "      free (%s);\n" n;
8989            pr " OUTPUT:\n";
8990            pr "      RETVAL\n"
8991        | RStringList n | RHashtable n ->
8992            pr "PREINIT:\n";
8993            pr "      char **%s;\n" n;
8994            pr "      int i, n;\n";
8995            pr " PPCODE:\n";
8996            pr "      %s = guestfs_%s " n name;
8997            generate_c_call_args ~handle:"g" style;
8998            pr ";\n";
8999            do_cleanups ();
9000            pr "      if (%s == NULL)\n" n;
9001            pr "        croak (\"%%s\", guestfs_last_error (g));\n";
9002            pr "      for (n = 0; %s[n] != NULL; ++n) /**/;\n" n;
9003            pr "      EXTEND (SP, n);\n";
9004            pr "      for (i = 0; i < n; ++i) {\n";
9005            pr "        PUSHs (sv_2mortal (newSVpv (%s[i], 0)));\n" n;
9006            pr "        free (%s[i]);\n" n;
9007            pr "      }\n";
9008            pr "      free (%s);\n" n;
9009        | RStruct (n, typ) ->
9010            let cols = cols_of_struct typ in
9011            generate_perl_struct_code typ cols name style n do_cleanups
9012        | RStructList (n, typ) ->
9013            let cols = cols_of_struct typ in
9014            generate_perl_struct_list_code typ cols name style n do_cleanups
9015        | RBufferOut n ->
9016            pr "PREINIT:\n";
9017            pr "      char *%s;\n" n;
9018            pr "      size_t size;\n";
9019            pr "   CODE:\n";
9020            pr "      %s = guestfs_%s " n name;
9021            generate_c_call_args ~handle:"g" style;
9022            pr ";\n";
9023            do_cleanups ();
9024            pr "      if (%s == NULL)\n" n;
9025            pr "        croak (\"%%s\", guestfs_last_error (g));\n";
9026            pr "      RETVAL = newSVpvn (%s, size);\n" n;
9027            pr "      free (%s);\n" n;
9028            pr " OUTPUT:\n";
9029            pr "      RETVAL\n"
9030       );
9031
9032       pr "\n"
9033   ) all_functions
9034
9035 and generate_perl_struct_list_code typ cols name style n do_cleanups =
9036   pr "PREINIT:\n";
9037   pr "      struct guestfs_%s_list *%s;\n" typ n;
9038   pr "      int i;\n";
9039   pr "      HV *hv;\n";
9040   pr " PPCODE:\n";
9041   pr "      %s = guestfs_%s " n name;
9042   generate_c_call_args ~handle:"g" style;
9043   pr ";\n";
9044   do_cleanups ();
9045   pr "      if (%s == NULL)\n" n;
9046   pr "        croak (\"%%s\", guestfs_last_error (g));\n";
9047   pr "      EXTEND (SP, %s->len);\n" n;
9048   pr "      for (i = 0; i < %s->len; ++i) {\n" n;
9049   pr "        hv = newHV ();\n";
9050   List.iter (
9051     function
9052     | name, FString ->
9053         pr "        (void) hv_store (hv, \"%s\", %d, newSVpv (%s->val[i].%s, 0), 0);\n"
9054           name (String.length name) n name
9055     | name, FUUID ->
9056         pr "        (void) hv_store (hv, \"%s\", %d, newSVpv (%s->val[i].%s, 32), 0);\n"
9057           name (String.length name) n name
9058     | name, FBuffer ->
9059         pr "        (void) hv_store (hv, \"%s\", %d, newSVpvn (%s->val[i].%s, %s->val[i].%s_len), 0);\n"
9060           name (String.length name) n name n name
9061     | name, (FBytes|FUInt64) ->
9062         pr "        (void) hv_store (hv, \"%s\", %d, my_newSVull (%s->val[i].%s), 0);\n"
9063           name (String.length name) n name
9064     | name, FInt64 ->
9065         pr "        (void) hv_store (hv, \"%s\", %d, my_newSVll (%s->val[i].%s), 0);\n"
9066           name (String.length name) n name
9067     | name, (FInt32|FUInt32) ->
9068         pr "        (void) hv_store (hv, \"%s\", %d, newSVnv (%s->val[i].%s), 0);\n"
9069           name (String.length name) n name
9070     | name, FChar ->
9071         pr "        (void) hv_store (hv, \"%s\", %d, newSVpv (&%s->val[i].%s, 1), 0);\n"
9072           name (String.length name) n name
9073     | name, FOptPercent ->
9074         pr "        (void) hv_store (hv, \"%s\", %d, newSVnv (%s->val[i].%s), 0);\n"
9075           name (String.length name) n name
9076   ) cols;
9077   pr "        PUSHs (sv_2mortal (newRV ((SV *) hv)));\n";
9078   pr "      }\n";
9079   pr "      guestfs_free_%s_list (%s);\n" typ n
9080
9081 and generate_perl_struct_code typ cols name style n do_cleanups =
9082   pr "PREINIT:\n";
9083   pr "      struct guestfs_%s *%s;\n" typ n;
9084   pr " PPCODE:\n";
9085   pr "      %s = guestfs_%s " n name;
9086   generate_c_call_args ~handle:"g" style;
9087   pr ";\n";
9088   do_cleanups ();
9089   pr "      if (%s == NULL)\n" n;
9090   pr "        croak (\"%%s\", guestfs_last_error (g));\n";
9091   pr "      EXTEND (SP, 2 * %d);\n" (List.length cols);
9092   List.iter (
9093     fun ((name, _) as col) ->
9094       pr "      PUSHs (sv_2mortal (newSVpv (\"%s\", 0)));\n" name;
9095
9096       match col with
9097       | name, FString ->
9098           pr "      PUSHs (sv_2mortal (newSVpv (%s->%s, 0)));\n"
9099             n name
9100       | name, FBuffer ->
9101           pr "      PUSHs (sv_2mortal (newSVpvn (%s->%s, %s->%s_len)));\n"
9102             n name n name
9103       | name, FUUID ->
9104           pr "      PUSHs (sv_2mortal (newSVpv (%s->%s, 32)));\n"
9105             n name
9106       | name, (FBytes|FUInt64) ->
9107           pr "      PUSHs (sv_2mortal (my_newSVull (%s->%s)));\n"
9108             n name
9109       | name, FInt64 ->
9110           pr "      PUSHs (sv_2mortal (my_newSVll (%s->%s)));\n"
9111             n name
9112       | name, (FInt32|FUInt32) ->
9113           pr "      PUSHs (sv_2mortal (newSVnv (%s->%s)));\n"
9114             n name
9115       | name, FChar ->
9116           pr "      PUSHs (sv_2mortal (newSVpv (&%s->%s, 1)));\n"
9117             n name
9118       | name, FOptPercent ->
9119           pr "      PUSHs (sv_2mortal (newSVnv (%s->%s)));\n"
9120             n name
9121   ) cols;
9122   pr "      free (%s);\n" n
9123
9124 (* Generate Sys/Guestfs.pm. *)
9125 and generate_perl_pm () =
9126   generate_header HashStyle LGPLv2plus;
9127
9128   pr "\
9129 =pod
9130
9131 =head1 NAME
9132
9133 Sys::Guestfs - Perl bindings for libguestfs
9134
9135 =head1 SYNOPSIS
9136
9137  use Sys::Guestfs;
9138
9139  my $h = Sys::Guestfs->new ();
9140  $h->add_drive ('guest.img');
9141  $h->launch ();
9142  $h->mount ('/dev/sda1', '/');
9143  $h->touch ('/hello');
9144  $h->sync ();
9145
9146 =head1 DESCRIPTION
9147
9148 The C<Sys::Guestfs> module provides a Perl XS binding to the
9149 libguestfs API for examining and modifying virtual machine
9150 disk images.
9151
9152 Amongst the things this is good for: making batch configuration
9153 changes to guests, getting disk used/free statistics (see also:
9154 virt-df), migrating between virtualization systems (see also:
9155 virt-p2v), performing partial backups, performing partial guest
9156 clones, cloning guests and changing registry/UUID/hostname info, and
9157 much else besides.
9158
9159 Libguestfs uses Linux kernel and qemu code, and can access any type of
9160 guest filesystem that Linux and qemu can, including but not limited
9161 to: ext2/3/4, btrfs, FAT and NTFS, LVM, many different disk partition
9162 schemes, qcow, qcow2, vmdk.
9163
9164 Libguestfs provides ways to enumerate guest storage (eg. partitions,
9165 LVs, what filesystem is in each LV, etc.).  It can also run commands
9166 in the context of the guest.  Also you can access filesystems over
9167 FUSE.
9168
9169 See also L<Sys::Guestfs::Lib(3)> for a set of useful library
9170 functions for using libguestfs from Perl, including integration
9171 with libvirt.
9172
9173 =head1 ERRORS
9174
9175 All errors turn into calls to C<croak> (see L<Carp(3)>).
9176
9177 =head1 METHODS
9178
9179 =over 4
9180
9181 =cut
9182
9183 package Sys::Guestfs;
9184
9185 use strict;
9186 use warnings;
9187
9188 # This version number changes whenever a new function
9189 # is added to the libguestfs API.  It is not directly
9190 # related to the libguestfs version number.
9191 use vars qw($VERSION);
9192 $VERSION = '0.%d';
9193
9194 require XSLoader;
9195 XSLoader::load ('Sys::Guestfs');
9196
9197 =item $h = Sys::Guestfs->new ();
9198
9199 Create a new guestfs handle.
9200
9201 =cut
9202
9203 sub new {
9204   my $proto = shift;
9205   my $class = ref ($proto) || $proto;
9206
9207   my $g = Sys::Guestfs::_create ();
9208   my $self = { _g => $g };
9209   bless $self, $class;
9210   return $self;
9211 }
9212
9213 =item $h->close ();
9214
9215 Explicitly close the guestfs handle.
9216
9217 B<Note:> You should not usually call this function.  The handle will
9218 be closed implicitly when its reference count goes to zero (eg.
9219 when it goes out of scope or the program ends).  This call is
9220 only required in some exceptional cases, such as where the program
9221 may contain cached references to the handle 'somewhere' and you
9222 really have to have the close happen right away.  After calling
9223 C<close> the program must not call any method (including C<close>)
9224 on the handle (but the implicit call to C<DESTROY> that happens
9225 when the final reference is cleaned up is OK).
9226
9227 =cut
9228
9229 " max_proc_nr;
9230
9231   (* Actions.  We only need to print documentation for these as
9232    * they are pulled in from the XS code automatically.
9233    *)
9234   List.iter (
9235     fun (name, style, _, flags, _, _, longdesc) ->
9236       if not (List.mem NotInDocs flags) then (
9237         let longdesc = replace_str longdesc "C<guestfs_" "C<$h-E<gt>" in
9238         pr "=item ";
9239         generate_perl_prototype name style;
9240         pr "\n\n";
9241         pr "%s\n\n" longdesc;
9242         if List.mem ProtocolLimitWarning flags then
9243           pr "%s\n\n" protocol_limit_warning;
9244         if List.mem DangerWillRobinson flags then
9245           pr "%s\n\n" danger_will_robinson;
9246         match deprecation_notice flags with
9247         | None -> ()
9248         | Some txt -> pr "%s\n\n" txt
9249       )
9250   ) all_functions_sorted;
9251
9252   (* End of file. *)
9253   pr "\
9254 =cut
9255
9256 1;
9257
9258 =back
9259
9260 =head1 COPYRIGHT
9261
9262 Copyright (C) %s Red Hat Inc.
9263
9264 =head1 LICENSE
9265
9266 Please see the file COPYING.LIB for the full license.
9267
9268 =head1 SEE ALSO
9269
9270 L<guestfs(3)>,
9271 L<guestfish(1)>,
9272 L<http://libguestfs.org>,
9273 L<Sys::Guestfs::Lib(3)>.
9274
9275 =cut
9276 " copyright_years
9277
9278 and generate_perl_prototype name style =
9279   (match fst style with
9280    | RErr -> ()
9281    | RBool n
9282    | RInt n
9283    | RInt64 n
9284    | RConstString n
9285    | RConstOptString n
9286    | RString n
9287    | RBufferOut n -> pr "$%s = " n
9288    | RStruct (n,_)
9289    | RHashtable n -> pr "%%%s = " n
9290    | RStringList n
9291    | RStructList (n,_) -> pr "@%s = " n
9292   );
9293   pr "$h->%s (" name;
9294   let comma = ref false in
9295   List.iter (
9296     fun arg ->
9297       if !comma then pr ", ";
9298       comma := true;
9299       match arg with
9300       | Pathname n | Device n | Dev_or_Path n | String n
9301       | OptString n | Bool n | Int n | Int64 n | FileIn n | FileOut n
9302       | BufferIn n ->
9303           pr "$%s" n
9304       | StringList n | DeviceList n ->
9305           pr "\\@%s" n
9306   ) (snd style);
9307   pr ");"
9308
9309 (* Generate Python C module. *)
9310 and generate_python_c () =
9311   generate_header CStyle LGPLv2plus;
9312
9313   pr "\
9314 #define PY_SSIZE_T_CLEAN 1
9315 #include <Python.h>
9316
9317 #if PY_VERSION_HEX < 0x02050000
9318 typedef int Py_ssize_t;
9319 #define PY_SSIZE_T_MAX INT_MAX
9320 #define PY_SSIZE_T_MIN INT_MIN
9321 #endif
9322
9323 #include <stdio.h>
9324 #include <stdlib.h>
9325 #include <assert.h>
9326
9327 #include \"guestfs.h\"
9328
9329 typedef struct {
9330   PyObject_HEAD
9331   guestfs_h *g;
9332 } Pyguestfs_Object;
9333
9334 static guestfs_h *
9335 get_handle (PyObject *obj)
9336 {
9337   assert (obj);
9338   assert (obj != Py_None);
9339   return ((Pyguestfs_Object *) obj)->g;
9340 }
9341
9342 static PyObject *
9343 put_handle (guestfs_h *g)
9344 {
9345   assert (g);
9346   return
9347     PyCObject_FromVoidPtrAndDesc ((void *) g, (char *) \"guestfs_h\", NULL);
9348 }
9349
9350 /* This list should be freed (but not the strings) after use. */
9351 static char **
9352 get_string_list (PyObject *obj)
9353 {
9354   int i, len;
9355   char **r;
9356
9357   assert (obj);
9358
9359   if (!PyList_Check (obj)) {
9360     PyErr_SetString (PyExc_RuntimeError, \"expecting a list parameter\");
9361     return NULL;
9362   }
9363
9364   len = PyList_Size (obj);
9365   r = malloc (sizeof (char *) * (len+1));
9366   if (r == NULL) {
9367     PyErr_SetString (PyExc_RuntimeError, \"get_string_list: out of memory\");
9368     return NULL;
9369   }
9370
9371   for (i = 0; i < len; ++i)
9372     r[i] = PyString_AsString (PyList_GetItem (obj, i));
9373   r[len] = NULL;
9374
9375   return r;
9376 }
9377
9378 static PyObject *
9379 put_string_list (char * const * const argv)
9380 {
9381   PyObject *list;
9382   int argc, i;
9383
9384   for (argc = 0; argv[argc] != NULL; ++argc)
9385     ;
9386
9387   list = PyList_New (argc);
9388   for (i = 0; i < argc; ++i)
9389     PyList_SetItem (list, i, PyString_FromString (argv[i]));
9390
9391   return list;
9392 }
9393
9394 static PyObject *
9395 put_table (char * const * const argv)
9396 {
9397   PyObject *list, *item;
9398   int argc, i;
9399
9400   for (argc = 0; argv[argc] != NULL; ++argc)
9401     ;
9402
9403   list = PyList_New (argc >> 1);
9404   for (i = 0; i < argc; i += 2) {
9405     item = PyTuple_New (2);
9406     PyTuple_SetItem (item, 0, PyString_FromString (argv[i]));
9407     PyTuple_SetItem (item, 1, PyString_FromString (argv[i+1]));
9408     PyList_SetItem (list, i >> 1, item);
9409   }
9410
9411   return list;
9412 }
9413
9414 static void
9415 free_strings (char **argv)
9416 {
9417   int argc;
9418
9419   for (argc = 0; argv[argc] != NULL; ++argc)
9420     free (argv[argc]);
9421   free (argv);
9422 }
9423
9424 static PyObject *
9425 py_guestfs_create (PyObject *self, PyObject *args)
9426 {
9427   guestfs_h *g;
9428
9429   g = guestfs_create ();
9430   if (g == NULL) {
9431     PyErr_SetString (PyExc_RuntimeError,
9432                      \"guestfs.create: failed to allocate handle\");
9433     return NULL;
9434   }
9435   guestfs_set_error_handler (g, NULL, NULL);
9436   return put_handle (g);
9437 }
9438
9439 static PyObject *
9440 py_guestfs_close (PyObject *self, PyObject *args)
9441 {
9442   PyObject *py_g;
9443   guestfs_h *g;
9444
9445   if (!PyArg_ParseTuple (args, (char *) \"O:guestfs_close\", &py_g))
9446     return NULL;
9447   g = get_handle (py_g);
9448
9449   guestfs_close (g);
9450
9451   Py_INCREF (Py_None);
9452   return Py_None;
9453 }
9454
9455 ";
9456
9457   let emit_put_list_function typ =
9458     pr "static PyObject *\n";
9459     pr "put_%s_list (struct guestfs_%s_list *%ss)\n" typ typ typ;
9460     pr "{\n";
9461     pr "  PyObject *list;\n";
9462     pr "  int i;\n";
9463     pr "\n";
9464     pr "  list = PyList_New (%ss->len);\n" typ;
9465     pr "  for (i = 0; i < %ss->len; ++i)\n" typ;
9466     pr "    PyList_SetItem (list, i, put_%s (&%ss->val[i]));\n" typ typ;
9467     pr "  return list;\n";
9468     pr "};\n";
9469     pr "\n"
9470   in
9471
9472   (* Structures, turned into Python dictionaries. *)
9473   List.iter (
9474     fun (typ, cols) ->
9475       pr "static PyObject *\n";
9476       pr "put_%s (struct guestfs_%s *%s)\n" typ typ typ;
9477       pr "{\n";
9478       pr "  PyObject *dict;\n";
9479       pr "\n";
9480       pr "  dict = PyDict_New ();\n";
9481       List.iter (
9482         function
9483         | name, FString ->
9484             pr "  PyDict_SetItemString (dict, \"%s\",\n" name;
9485             pr "                        PyString_FromString (%s->%s));\n"
9486               typ name
9487         | name, FBuffer ->
9488             pr "  PyDict_SetItemString (dict, \"%s\",\n" name;
9489             pr "                        PyString_FromStringAndSize (%s->%s, %s->%s_len));\n"
9490               typ name typ name
9491         | name, FUUID ->
9492             pr "  PyDict_SetItemString (dict, \"%s\",\n" name;
9493             pr "                        PyString_FromStringAndSize (%s->%s, 32));\n"
9494               typ name
9495         | name, (FBytes|FUInt64) ->
9496             pr "  PyDict_SetItemString (dict, \"%s\",\n" name;
9497             pr "                        PyLong_FromUnsignedLongLong (%s->%s));\n"
9498               typ name
9499         | name, FInt64 ->
9500             pr "  PyDict_SetItemString (dict, \"%s\",\n" name;
9501             pr "                        PyLong_FromLongLong (%s->%s));\n"
9502               typ name
9503         | name, FUInt32 ->
9504             pr "  PyDict_SetItemString (dict, \"%s\",\n" name;
9505             pr "                        PyLong_FromUnsignedLong (%s->%s));\n"
9506               typ name
9507         | name, FInt32 ->
9508             pr "  PyDict_SetItemString (dict, \"%s\",\n" name;
9509             pr "                        PyLong_FromLong (%s->%s));\n"
9510               typ name
9511         | name, FOptPercent ->
9512             pr "  if (%s->%s >= 0)\n" typ name;
9513             pr "    PyDict_SetItemString (dict, \"%s\",\n" name;
9514             pr "                          PyFloat_FromDouble ((double) %s->%s));\n"
9515               typ name;
9516             pr "  else {\n";
9517             pr "    Py_INCREF (Py_None);\n";
9518             pr "    PyDict_SetItemString (dict, \"%s\", Py_None);\n" name;
9519             pr "  }\n"
9520         | name, FChar ->
9521             pr "  PyDict_SetItemString (dict, \"%s\",\n" name;
9522             pr "                        PyString_FromStringAndSize (&dirent->%s, 1));\n" name
9523       ) cols;
9524       pr "  return dict;\n";
9525       pr "};\n";
9526       pr "\n";
9527
9528   ) structs;
9529
9530   (* Emit a put_TYPE_list function definition only if that function is used. *)
9531   List.iter (
9532     function
9533     | typ, (RStructListOnly | RStructAndList) ->
9534         (* generate the function for typ *)
9535         emit_put_list_function typ
9536     | typ, _ -> () (* empty *)
9537   ) (rstructs_used_by all_functions);
9538
9539   (* Python wrapper functions. *)
9540   List.iter (
9541     fun (name, style, _, _, _, _, _) ->
9542       pr "static PyObject *\n";
9543       pr "py_guestfs_%s (PyObject *self, PyObject *args)\n" name;
9544       pr "{\n";
9545
9546       pr "  PyObject *py_g;\n";
9547       pr "  guestfs_h *g;\n";
9548       pr "  PyObject *py_r;\n";
9549
9550       let error_code =
9551         match fst style with
9552         | RErr | RInt _ | RBool _ -> pr "  int r;\n"; "-1"
9553         | RInt64 _ -> pr "  int64_t r;\n"; "-1"
9554         | RConstString _ | RConstOptString _ ->
9555             pr "  const char *r;\n"; "NULL"
9556         | RString _ -> pr "  char *r;\n"; "NULL"
9557         | RStringList _ | RHashtable _ -> pr "  char **r;\n"; "NULL"
9558         | RStruct (_, typ) -> pr "  struct guestfs_%s *r;\n" typ; "NULL"
9559         | RStructList (_, typ) ->
9560             pr "  struct guestfs_%s_list *r;\n" typ; "NULL"
9561         | RBufferOut _ ->
9562             pr "  char *r;\n";
9563             pr "  size_t size;\n";
9564             "NULL" in
9565
9566       List.iter (
9567         function
9568         | Pathname n | Device n | Dev_or_Path n | String n
9569         | FileIn n | FileOut n ->
9570             pr "  const char *%s;\n" n
9571         | OptString n -> pr "  const char *%s;\n" n
9572         | BufferIn n ->
9573             pr "  const char *%s;\n" n;
9574             pr "  Py_ssize_t %s_size;\n" n
9575         | StringList n | DeviceList n ->
9576             pr "  PyObject *py_%s;\n" n;
9577             pr "  char **%s;\n" n
9578         | Bool n -> pr "  int %s;\n" n
9579         | Int n -> pr "  int %s;\n" n
9580         | Int64 n -> pr "  long long %s;\n" n
9581       ) (snd style);
9582
9583       pr "\n";
9584
9585       (* Convert the parameters. *)
9586       pr "  if (!PyArg_ParseTuple (args, (char *) \"O";
9587       List.iter (
9588         function
9589         | Pathname _ | Device _ | Dev_or_Path _ | String _ | FileIn _ | FileOut _ -> pr "s"
9590         | OptString _ -> pr "z"
9591         | StringList _ | DeviceList _ -> pr "O"
9592         | Bool _ -> pr "i" (* XXX Python has booleans? *)
9593         | Int _ -> pr "i"
9594         | Int64 _ -> pr "L" (* XXX Whoever thought it was a good idea to
9595                              * emulate C's int/long/long long in Python?
9596                              *)
9597         | BufferIn _ -> pr "s#"
9598       ) (snd style);
9599       pr ":guestfs_%s\",\n" name;
9600       pr "                         &py_g";
9601       List.iter (
9602         function
9603         | Pathname n | Device n | Dev_or_Path n | String n | FileIn n | FileOut n -> pr ", &%s" n
9604         | OptString n -> pr ", &%s" n
9605         | StringList n | DeviceList n -> pr ", &py_%s" n
9606         | Bool n -> pr ", &%s" n
9607         | Int n -> pr ", &%s" n
9608         | Int64 n -> pr ", &%s" n
9609         | BufferIn n -> pr ", &%s, &%s_size" n n
9610       ) (snd style);
9611
9612       pr "))\n";
9613       pr "    return NULL;\n";
9614
9615       pr "  g = get_handle (py_g);\n";
9616       List.iter (
9617         function
9618         | Pathname _ | Device _ | Dev_or_Path _ | String _
9619         | FileIn _ | FileOut _ | OptString _ | Bool _ | Int _ | Int64 _
9620         | BufferIn _ -> ()
9621         | StringList n | DeviceList n ->
9622             pr "  %s = get_string_list (py_%s);\n" n n;
9623             pr "  if (!%s) return NULL;\n" n
9624       ) (snd style);
9625
9626       pr "\n";
9627
9628       pr "  r = guestfs_%s " name;
9629       generate_c_call_args ~handle:"g" style;
9630       pr ";\n";
9631
9632       List.iter (
9633         function
9634         | Pathname _ | Device _ | Dev_or_Path _ | String _
9635         | FileIn _ | FileOut _ | OptString _ | Bool _ | Int _ | Int64 _
9636         | BufferIn _ -> ()
9637         | StringList n | DeviceList n ->
9638             pr "  free (%s);\n" n
9639       ) (snd style);
9640
9641       pr "  if (r == %s) {\n" error_code;
9642       pr "    PyErr_SetString (PyExc_RuntimeError, guestfs_last_error (g));\n";
9643       pr "    return NULL;\n";
9644       pr "  }\n";
9645       pr "\n";
9646
9647       (match fst style with
9648        | RErr ->
9649            pr "  Py_INCREF (Py_None);\n";
9650            pr "  py_r = Py_None;\n"
9651        | RInt _
9652        | RBool _ -> pr "  py_r = PyInt_FromLong ((long) r);\n"
9653        | RInt64 _ -> pr "  py_r = PyLong_FromLongLong (r);\n"
9654        | RConstString _ -> pr "  py_r = PyString_FromString (r);\n"
9655        | RConstOptString _ ->
9656            pr "  if (r)\n";
9657            pr "    py_r = PyString_FromString (r);\n";
9658            pr "  else {\n";
9659            pr "    Py_INCREF (Py_None);\n";
9660            pr "    py_r = Py_None;\n";
9661            pr "  }\n"
9662        | RString _ ->
9663            pr "  py_r = PyString_FromString (r);\n";
9664            pr "  free (r);\n"
9665        | RStringList _ ->
9666            pr "  py_r = put_string_list (r);\n";
9667            pr "  free_strings (r);\n"
9668        | RStruct (_, typ) ->
9669            pr "  py_r = put_%s (r);\n" typ;
9670            pr "  guestfs_free_%s (r);\n" typ
9671        | RStructList (_, typ) ->
9672            pr "  py_r = put_%s_list (r);\n" typ;
9673            pr "  guestfs_free_%s_list (r);\n" typ
9674        | RHashtable n ->
9675            pr "  py_r = put_table (r);\n";
9676            pr "  free_strings (r);\n"
9677        | RBufferOut _ ->
9678            pr "  py_r = PyString_FromStringAndSize (r, size);\n";
9679            pr "  free (r);\n"
9680       );
9681
9682       pr "  return py_r;\n";
9683       pr "}\n";
9684       pr "\n"
9685   ) all_functions;
9686
9687   (* Table of functions. *)
9688   pr "static PyMethodDef methods[] = {\n";
9689   pr "  { (char *) \"create\", py_guestfs_create, METH_VARARGS, NULL },\n";
9690   pr "  { (char *) \"close\", py_guestfs_close, METH_VARARGS, NULL },\n";
9691   List.iter (
9692     fun (name, _, _, _, _, _, _) ->
9693       pr "  { (char *) \"%s\", py_guestfs_%s, METH_VARARGS, NULL },\n"
9694         name name
9695   ) all_functions;
9696   pr "  { NULL, NULL, 0, NULL }\n";
9697   pr "};\n";
9698   pr "\n";
9699
9700   (* Init function. *)
9701   pr "\
9702 void
9703 initlibguestfsmod (void)
9704 {
9705   static int initialized = 0;
9706
9707   if (initialized) return;
9708   Py_InitModule ((char *) \"libguestfsmod\", methods);
9709   initialized = 1;
9710 }
9711 "
9712
9713 (* Generate Python module. *)
9714 and generate_python_py () =
9715   generate_header HashStyle LGPLv2plus;
9716
9717   pr "\
9718 u\"\"\"Python bindings for libguestfs
9719
9720 import guestfs
9721 g = guestfs.GuestFS ()
9722 g.add_drive (\"guest.img\")
9723 g.launch ()
9724 parts = g.list_partitions ()
9725
9726 The guestfs module provides a Python binding to the libguestfs API
9727 for examining and modifying virtual machine disk images.
9728
9729 Amongst the things this is good for: making batch configuration
9730 changes to guests, getting disk used/free statistics (see also:
9731 virt-df), migrating between virtualization systems (see also:
9732 virt-p2v), performing partial backups, performing partial guest
9733 clones, cloning guests and changing registry/UUID/hostname info, and
9734 much else besides.
9735
9736 Libguestfs uses Linux kernel and qemu code, and can access any type of
9737 guest filesystem that Linux and qemu can, including but not limited
9738 to: ext2/3/4, btrfs, FAT and NTFS, LVM, many different disk partition
9739 schemes, qcow, qcow2, vmdk.
9740
9741 Libguestfs provides ways to enumerate guest storage (eg. partitions,
9742 LVs, what filesystem is in each LV, etc.).  It can also run commands
9743 in the context of the guest.  Also you can access filesystems over
9744 FUSE.
9745
9746 Errors which happen while using the API are turned into Python
9747 RuntimeError exceptions.
9748
9749 To create a guestfs handle you usually have to perform the following
9750 sequence of calls:
9751
9752 # Create the handle, call add_drive at least once, and possibly
9753 # several times if the guest has multiple block devices:
9754 g = guestfs.GuestFS ()
9755 g.add_drive (\"guest.img\")
9756
9757 # Launch the qemu subprocess and wait for it to become ready:
9758 g.launch ()
9759
9760 # Now you can issue commands, for example:
9761 logvols = g.lvs ()
9762
9763 \"\"\"
9764
9765 import libguestfsmod
9766
9767 class GuestFS:
9768     \"\"\"Instances of this class are libguestfs API handles.\"\"\"
9769
9770     def __init__ (self):
9771         \"\"\"Create a new libguestfs handle.\"\"\"
9772         self._o = libguestfsmod.create ()
9773
9774     def __del__ (self):
9775         libguestfsmod.close (self._o)
9776
9777 ";
9778
9779   List.iter (
9780     fun (name, style, _, flags, _, _, longdesc) ->
9781       pr "    def %s " name;
9782       generate_py_call_args ~handle:"self" (snd style);
9783       pr ":\n";
9784
9785       if not (List.mem NotInDocs flags) then (
9786         let doc = replace_str longdesc "C<guestfs_" "C<g." in
9787         let doc =
9788           match fst style with
9789           | RErr | RInt _ | RInt64 _ | RBool _
9790           | RConstOptString _ | RConstString _
9791           | RString _ | RBufferOut _ -> doc
9792           | RStringList _ ->
9793               doc ^ "\n\nThis function returns a list of strings."
9794           | RStruct (_, typ) ->
9795               doc ^ sprintf "\n\nThis function returns a dictionary, with keys matching the various fields in the guestfs_%s structure." typ
9796           | RStructList (_, typ) ->
9797               doc ^ sprintf "\n\nThis function returns a list of %ss.  Each %s is represented as a dictionary." typ typ
9798           | RHashtable _ ->
9799               doc ^ "\n\nThis function returns a dictionary." in
9800         let doc =
9801           if List.mem ProtocolLimitWarning flags then
9802             doc ^ "\n\n" ^ protocol_limit_warning
9803           else doc in
9804         let doc =
9805           if List.mem DangerWillRobinson flags then
9806             doc ^ "\n\n" ^ danger_will_robinson
9807           else doc in
9808         let doc =
9809           match deprecation_notice flags with
9810           | None -> doc
9811           | Some txt -> doc ^ "\n\n" ^ txt in
9812         let doc = pod2text ~width:60 name doc in
9813         let doc = List.map (fun line -> replace_str line "\\" "\\\\") doc in
9814         let doc = String.concat "\n        " doc in
9815         pr "        u\"\"\"%s\"\"\"\n" doc;
9816       );
9817       pr "        return libguestfsmod.%s " name;
9818       generate_py_call_args ~handle:"self._o" (snd style);
9819       pr "\n";
9820       pr "\n";
9821   ) all_functions
9822
9823 (* Generate Python call arguments, eg "(handle, foo, bar)" *)
9824 and generate_py_call_args ~handle args =
9825   pr "(%s" handle;
9826   List.iter (fun arg -> pr ", %s" (name_of_argt arg)) args;
9827   pr ")"
9828
9829 (* Useful if you need the longdesc POD text as plain text.  Returns a
9830  * list of lines.
9831  *
9832  * Because this is very slow (the slowest part of autogeneration),
9833  * we memoize the results.
9834  *)
9835 and pod2text ~width name longdesc =
9836   let key = width, name, longdesc in
9837   try Hashtbl.find pod2text_memo key
9838   with Not_found ->
9839     let filename, chan = Filename.open_temp_file "gen" ".tmp" in
9840     fprintf chan "=head1 %s\n\n%s\n" name longdesc;
9841     close_out chan;
9842     let cmd = sprintf "pod2text -w %d %s" width (Filename.quote filename) in
9843     let chan = open_process_in cmd in
9844     let lines = ref [] in
9845     let rec loop i =
9846       let line = input_line chan in
9847       if i = 1 then             (* discard the first line of output *)
9848         loop (i+1)
9849       else (
9850         let line = triml line in
9851         lines := line :: !lines;
9852         loop (i+1)
9853       ) in
9854     let lines = try loop 1 with End_of_file -> List.rev !lines in
9855     unlink filename;
9856     (match close_process_in chan with
9857      | WEXITED 0 -> ()
9858      | WEXITED i ->
9859          failwithf "pod2text: process exited with non-zero status (%d)" i
9860      | WSIGNALED i | WSTOPPED i ->
9861          failwithf "pod2text: process signalled or stopped by signal %d" i
9862     );
9863     Hashtbl.add pod2text_memo key lines;
9864     pod2text_memo_updated ();
9865     lines
9866
9867 (* Generate ruby bindings. *)
9868 and generate_ruby_c () =
9869   generate_header CStyle LGPLv2plus;
9870
9871   pr "\
9872 #include <stdio.h>
9873 #include <stdlib.h>
9874
9875 #include <ruby.h>
9876
9877 #include \"guestfs.h\"
9878
9879 #include \"extconf.h\"
9880
9881 /* For Ruby < 1.9 */
9882 #ifndef RARRAY_LEN
9883 #define RARRAY_LEN(r) (RARRAY((r))->len)
9884 #endif
9885
9886 static VALUE m_guestfs;                 /* guestfs module */
9887 static VALUE c_guestfs;                 /* guestfs_h handle */
9888 static VALUE e_Error;                   /* used for all errors */
9889
9890 static void ruby_guestfs_free (void *p)
9891 {
9892   if (!p) return;
9893   guestfs_close ((guestfs_h *) p);
9894 }
9895
9896 static VALUE ruby_guestfs_create (VALUE m)
9897 {
9898   guestfs_h *g;
9899
9900   g = guestfs_create ();
9901   if (!g)
9902     rb_raise (e_Error, \"failed to create guestfs handle\");
9903
9904   /* Don't print error messages to stderr by default. */
9905   guestfs_set_error_handler (g, NULL, NULL);
9906
9907   /* Wrap it, and make sure the close function is called when the
9908    * handle goes away.
9909    */
9910   return Data_Wrap_Struct (c_guestfs, NULL, ruby_guestfs_free, g);
9911 }
9912
9913 static VALUE ruby_guestfs_close (VALUE gv)
9914 {
9915   guestfs_h *g;
9916   Data_Get_Struct (gv, guestfs_h, g);
9917
9918   ruby_guestfs_free (g);
9919   DATA_PTR (gv) = NULL;
9920
9921   return Qnil;
9922 }
9923
9924 ";
9925
9926   List.iter (
9927     fun (name, style, _, _, _, _, _) ->
9928       pr "static VALUE ruby_guestfs_%s (VALUE gv" name;
9929       List.iter (fun arg -> pr ", VALUE %sv" (name_of_argt arg)) (snd style);
9930       pr ")\n";
9931       pr "{\n";
9932       pr "  guestfs_h *g;\n";
9933       pr "  Data_Get_Struct (gv, guestfs_h, g);\n";
9934       pr "  if (!g)\n";
9935       pr "    rb_raise (rb_eArgError, \"%%s: used handle after closing it\", \"%s\");\n"
9936         name;
9937       pr "\n";
9938
9939       List.iter (
9940         function
9941         | Pathname n | Device n | Dev_or_Path n | String n | FileIn n | FileOut n ->
9942             pr "  Check_Type (%sv, T_STRING);\n" n;
9943             pr "  const char *%s = StringValueCStr (%sv);\n" n n;
9944             pr "  if (!%s)\n" n;
9945             pr "    rb_raise (rb_eTypeError, \"expected string for parameter %%s of %%s\",\n";
9946             pr "              \"%s\", \"%s\");\n" n name
9947         | BufferIn n ->
9948             pr "  Check_Type (%sv, T_STRING);\n" n;
9949             pr "  const char *%s = RSTRING (%sv)->ptr;\n" n n;
9950             pr "  if (!%s)\n" n;
9951             pr "    rb_raise (rb_eTypeError, \"expected string for parameter %%s of %%s\",\n";
9952             pr "              \"%s\", \"%s\");\n" n name;
9953             pr "  size_t %s_size = RSTRING (%sv)->len;\n" n n
9954         | OptString n ->
9955             pr "  const char *%s = !NIL_P (%sv) ? StringValueCStr (%sv) : NULL;\n" n n n
9956         | StringList n | DeviceList n ->
9957             pr "  char **%s;\n" n;
9958             pr "  Check_Type (%sv, T_ARRAY);\n" n;
9959             pr "  {\n";
9960             pr "    int i, len;\n";
9961             pr "    len = RARRAY_LEN (%sv);\n" n;
9962             pr "    %s = guestfs_safe_malloc (g, sizeof (char *) * (len+1));\n"
9963               n;
9964             pr "    for (i = 0; i < len; ++i) {\n";
9965             pr "      VALUE v = rb_ary_entry (%sv, i);\n" n;
9966             pr "      %s[i] = StringValueCStr (v);\n" n;
9967             pr "    }\n";
9968             pr "    %s[len] = NULL;\n" n;
9969             pr "  }\n";
9970         | Bool n ->
9971             pr "  int %s = RTEST (%sv);\n" n n
9972         | Int n ->
9973             pr "  int %s = NUM2INT (%sv);\n" n n
9974         | Int64 n ->
9975             pr "  long long %s = NUM2LL (%sv);\n" n n
9976       ) (snd style);
9977       pr "\n";
9978
9979       let error_code =
9980         match fst style with
9981         | RErr | RInt _ | RBool _ -> pr "  int r;\n"; "-1"
9982         | RInt64 _ -> pr "  int64_t r;\n"; "-1"
9983         | RConstString _ | RConstOptString _ ->
9984             pr "  const char *r;\n"; "NULL"
9985         | RString _ -> pr "  char *r;\n"; "NULL"
9986         | RStringList _ | RHashtable _ -> pr "  char **r;\n"; "NULL"
9987         | RStruct (_, typ) -> pr "  struct guestfs_%s *r;\n" typ; "NULL"
9988         | RStructList (_, typ) ->
9989             pr "  struct guestfs_%s_list *r;\n" typ; "NULL"
9990         | RBufferOut _ ->
9991             pr "  char *r;\n";
9992             pr "  size_t size;\n";
9993             "NULL" in
9994       pr "\n";
9995
9996       pr "  r = guestfs_%s " name;
9997       generate_c_call_args ~handle:"g" style;
9998       pr ";\n";
9999
10000       List.iter (
10001         function
10002         | Pathname _ | Device _ | Dev_or_Path _ | String _
10003         | FileIn _ | FileOut _ | OptString _ | Bool _ | Int _ | Int64 _
10004         | BufferIn _ -> ()
10005         | StringList n | DeviceList n ->
10006             pr "  free (%s);\n" n
10007       ) (snd style);
10008
10009       pr "  if (r == %s)\n" error_code;
10010       pr "    rb_raise (e_Error, \"%%s\", guestfs_last_error (g));\n";
10011       pr "\n";
10012
10013       (match fst style with
10014        | RErr ->
10015            pr "  return Qnil;\n"
10016        | RInt _ | RBool _ ->
10017            pr "  return INT2NUM (r);\n"
10018        | RInt64 _ ->
10019            pr "  return ULL2NUM (r);\n"
10020        | RConstString _ ->
10021            pr "  return rb_str_new2 (r);\n";
10022        | RConstOptString _ ->
10023            pr "  if (r)\n";
10024            pr "    return rb_str_new2 (r);\n";
10025            pr "  else\n";
10026            pr "    return Qnil;\n";
10027        | RString _ ->
10028            pr "  VALUE rv = rb_str_new2 (r);\n";
10029            pr "  free (r);\n";
10030            pr "  return rv;\n";
10031        | RStringList _ ->
10032            pr "  int i, len = 0;\n";
10033            pr "  for (i = 0; r[i] != NULL; ++i) len++;\n";
10034            pr "  VALUE rv = rb_ary_new2 (len);\n";
10035            pr "  for (i = 0; r[i] != NULL; ++i) {\n";
10036            pr "    rb_ary_push (rv, rb_str_new2 (r[i]));\n";
10037            pr "    free (r[i]);\n";
10038            pr "  }\n";
10039            pr "  free (r);\n";
10040            pr "  return rv;\n"
10041        | RStruct (_, typ) ->
10042            let cols = cols_of_struct typ in
10043            generate_ruby_struct_code typ cols
10044        | RStructList (_, typ) ->
10045            let cols = cols_of_struct typ in
10046            generate_ruby_struct_list_code typ cols
10047        | RHashtable _ ->
10048            pr "  VALUE rv = rb_hash_new ();\n";
10049            pr "  int i;\n";
10050            pr "  for (i = 0; r[i] != NULL; i+=2) {\n";
10051            pr "    rb_hash_aset (rv, rb_str_new2 (r[i]), rb_str_new2 (r[i+1]));\n";
10052            pr "    free (r[i]);\n";
10053            pr "    free (r[i+1]);\n";
10054            pr "  }\n";
10055            pr "  free (r);\n";
10056            pr "  return rv;\n"
10057        | RBufferOut _ ->
10058            pr "  VALUE rv = rb_str_new (r, size);\n";
10059            pr "  free (r);\n";
10060            pr "  return rv;\n";
10061       );
10062
10063       pr "}\n";
10064       pr "\n"
10065   ) all_functions;
10066
10067   pr "\
10068 /* Initialize the module. */
10069 void Init__guestfs ()
10070 {
10071   m_guestfs = rb_define_module (\"Guestfs\");
10072   c_guestfs = rb_define_class_under (m_guestfs, \"Guestfs\", rb_cObject);
10073   e_Error = rb_define_class_under (m_guestfs, \"Error\", rb_eStandardError);
10074
10075   rb_define_module_function (m_guestfs, \"create\", ruby_guestfs_create, 0);
10076   rb_define_method (c_guestfs, \"close\", ruby_guestfs_close, 0);
10077
10078 ";
10079   (* Define the rest of the methods. *)
10080   List.iter (
10081     fun (name, style, _, _, _, _, _) ->
10082       pr "  rb_define_method (c_guestfs, \"%s\",\n" name;
10083       pr "        ruby_guestfs_%s, %d);\n" name (List.length (snd style))
10084   ) all_functions;
10085
10086   pr "}\n"
10087
10088 (* Ruby code to return a struct. *)
10089 and generate_ruby_struct_code typ cols =
10090   pr "  VALUE rv = rb_hash_new ();\n";
10091   List.iter (
10092     function
10093     | name, FString ->
10094         pr "  rb_hash_aset (rv, rb_str_new2 (\"%s\"), rb_str_new2 (r->%s));\n" name name
10095     | name, FBuffer ->
10096         pr "  rb_hash_aset (rv, rb_str_new2 (\"%s\"), rb_str_new (r->%s, r->%s_len));\n" name name name
10097     | name, FUUID ->
10098         pr "  rb_hash_aset (rv, rb_str_new2 (\"%s\"), rb_str_new (r->%s, 32));\n" name name
10099     | name, (FBytes|FUInt64) ->
10100         pr "  rb_hash_aset (rv, rb_str_new2 (\"%s\"), ULL2NUM (r->%s));\n" name name
10101     | name, FInt64 ->
10102         pr "  rb_hash_aset (rv, rb_str_new2 (\"%s\"), LL2NUM (r->%s));\n" name name
10103     | name, FUInt32 ->
10104         pr "  rb_hash_aset (rv, rb_str_new2 (\"%s\"), UINT2NUM (r->%s));\n" name name
10105     | name, FInt32 ->
10106         pr "  rb_hash_aset (rv, rb_str_new2 (\"%s\"), INT2NUM (r->%s));\n" name name
10107     | name, FOptPercent ->
10108         pr "  rb_hash_aset (rv, rb_str_new2 (\"%s\"), rb_dbl2big (r->%s));\n" name name
10109     | name, FChar -> (* XXX wrong? *)
10110         pr "  rb_hash_aset (rv, rb_str_new2 (\"%s\"), ULL2NUM (r->%s));\n" name name
10111   ) cols;
10112   pr "  guestfs_free_%s (r);\n" typ;
10113   pr "  return rv;\n"
10114
10115 (* Ruby code to return a struct list. *)
10116 and generate_ruby_struct_list_code typ cols =
10117   pr "  VALUE rv = rb_ary_new2 (r->len);\n";
10118   pr "  int i;\n";
10119   pr "  for (i = 0; i < r->len; ++i) {\n";
10120   pr "    VALUE hv = rb_hash_new ();\n";
10121   List.iter (
10122     function
10123     | name, FString ->
10124         pr "    rb_hash_aset (hv, rb_str_new2 (\"%s\"), rb_str_new2 (r->val[i].%s));\n" name name
10125     | name, FBuffer ->
10126         pr "    rb_hash_aset (hv, rb_str_new2 (\"%s\"), rb_str_new (r->val[i].%s, r->val[i].%s_len));\n" name name name
10127     | name, FUUID ->
10128         pr "    rb_hash_aset (hv, rb_str_new2 (\"%s\"), rb_str_new (r->val[i].%s, 32));\n" name name
10129     | name, (FBytes|FUInt64) ->
10130         pr "    rb_hash_aset (hv, rb_str_new2 (\"%s\"), ULL2NUM (r->val[i].%s));\n" name name
10131     | name, FInt64 ->
10132         pr "    rb_hash_aset (hv, rb_str_new2 (\"%s\"), LL2NUM (r->val[i].%s));\n" name name
10133     | name, FUInt32 ->
10134         pr "    rb_hash_aset (hv, rb_str_new2 (\"%s\"), UINT2NUM (r->val[i].%s));\n" name name
10135     | name, FInt32 ->
10136         pr "    rb_hash_aset (hv, rb_str_new2 (\"%s\"), INT2NUM (r->val[i].%s));\n" name name
10137     | name, FOptPercent ->
10138         pr "    rb_hash_aset (hv, rb_str_new2 (\"%s\"), rb_dbl2big (r->val[i].%s));\n" name name
10139     | name, FChar -> (* XXX wrong? *)
10140         pr "    rb_hash_aset (hv, rb_str_new2 (\"%s\"), ULL2NUM (r->val[i].%s));\n" name name
10141   ) cols;
10142   pr "    rb_ary_push (rv, hv);\n";
10143   pr "  }\n";
10144   pr "  guestfs_free_%s_list (r);\n" typ;
10145   pr "  return rv;\n"
10146
10147 (* Generate Java bindings GuestFS.java file. *)
10148 and generate_java_java () =
10149   generate_header CStyle LGPLv2plus;
10150
10151   pr "\
10152 package com.redhat.et.libguestfs;
10153
10154 import java.util.HashMap;
10155 import com.redhat.et.libguestfs.LibGuestFSException;
10156 import com.redhat.et.libguestfs.PV;
10157 import com.redhat.et.libguestfs.VG;
10158 import com.redhat.et.libguestfs.LV;
10159 import com.redhat.et.libguestfs.Stat;
10160 import com.redhat.et.libguestfs.StatVFS;
10161 import com.redhat.et.libguestfs.IntBool;
10162 import com.redhat.et.libguestfs.Dirent;
10163
10164 /**
10165  * The GuestFS object is a libguestfs handle.
10166  *
10167  * @author rjones
10168  */
10169 public class GuestFS {
10170   // Load the native code.
10171   static {
10172     System.loadLibrary (\"guestfs_jni\");
10173   }
10174
10175   /**
10176    * The native guestfs_h pointer.
10177    */
10178   long g;
10179
10180   /**
10181    * Create a libguestfs handle.
10182    *
10183    * @throws LibGuestFSException
10184    */
10185   public GuestFS () throws LibGuestFSException
10186   {
10187     g = _create ();
10188   }
10189   private native long _create () throws LibGuestFSException;
10190
10191   /**
10192    * Close a libguestfs handle.
10193    *
10194    * You can also leave handles to be collected by the garbage
10195    * collector, but this method ensures that the resources used
10196    * by the handle are freed up immediately.  If you call any
10197    * other methods after closing the handle, you will get an
10198    * exception.
10199    *
10200    * @throws LibGuestFSException
10201    */
10202   public void close () throws LibGuestFSException
10203   {
10204     if (g != 0)
10205       _close (g);
10206     g = 0;
10207   }
10208   private native void _close (long g) throws LibGuestFSException;
10209
10210   public void finalize () throws LibGuestFSException
10211   {
10212     close ();
10213   }
10214
10215 ";
10216
10217   List.iter (
10218     fun (name, style, _, flags, _, shortdesc, longdesc) ->
10219       if not (List.mem NotInDocs flags); then (
10220         let doc = replace_str longdesc "C<guestfs_" "C<g." in
10221         let doc =
10222           if List.mem ProtocolLimitWarning flags then
10223             doc ^ "\n\n" ^ protocol_limit_warning
10224           else doc in
10225         let doc =
10226           if List.mem DangerWillRobinson flags then
10227             doc ^ "\n\n" ^ danger_will_robinson
10228           else doc in
10229         let doc =
10230           match deprecation_notice flags with
10231           | None -> doc
10232           | Some txt -> doc ^ "\n\n" ^ txt in
10233         let doc = pod2text ~width:60 name doc in
10234         let doc = List.map (            (* RHBZ#501883 *)
10235           function
10236           | "" -> "<p>"
10237           | nonempty -> nonempty
10238         ) doc in
10239         let doc = String.concat "\n   * " doc in
10240
10241         pr "  /**\n";
10242         pr "   * %s\n" shortdesc;
10243         pr "   * <p>\n";
10244         pr "   * %s\n" doc;
10245         pr "   * @throws LibGuestFSException\n";
10246         pr "   */\n";
10247         pr "  ";
10248       );
10249       generate_java_prototype ~public:true ~semicolon:false name style;
10250       pr "\n";
10251       pr "  {\n";
10252       pr "    if (g == 0)\n";
10253       pr "      throw new LibGuestFSException (\"%s: handle is closed\");\n"
10254         name;
10255       pr "    ";
10256       if fst style <> RErr then pr "return ";
10257       pr "_%s " name;
10258       generate_java_call_args ~handle:"g" (snd style);
10259       pr ";\n";
10260       pr "  }\n";
10261       pr "  ";
10262       generate_java_prototype ~privat:true ~native:true name style;
10263       pr "\n";
10264       pr "\n";
10265   ) all_functions;
10266
10267   pr "}\n"
10268
10269 (* Generate Java call arguments, eg "(handle, foo, bar)" *)
10270 and generate_java_call_args ~handle args =
10271   pr "(%s" handle;
10272   List.iter (fun arg -> pr ", %s" (name_of_argt arg)) args;
10273   pr ")"
10274
10275 and generate_java_prototype ?(public=false) ?(privat=false) ?(native=false)
10276     ?(semicolon=true) name style =
10277   if privat then pr "private ";
10278   if public then pr "public ";
10279   if native then pr "native ";
10280
10281   (* return type *)
10282   (match fst style with
10283    | RErr -> pr "void ";
10284    | RInt _ -> pr "int ";
10285    | RInt64 _ -> pr "long ";
10286    | RBool _ -> pr "boolean ";
10287    | RConstString _ | RConstOptString _ | RString _
10288    | RBufferOut _ -> pr "String ";
10289    | RStringList _ -> pr "String[] ";
10290    | RStruct (_, typ) ->
10291        let name = java_name_of_struct typ in
10292        pr "%s " name;
10293    | RStructList (_, typ) ->
10294        let name = java_name_of_struct typ in
10295        pr "%s[] " name;
10296    | RHashtable _ -> pr "HashMap<String,String> ";
10297   );
10298
10299   if native then pr "_%s " name else pr "%s " name;
10300   pr "(";
10301   let needs_comma = ref false in
10302   if native then (
10303     pr "long g";
10304     needs_comma := true
10305   );
10306
10307   (* args *)
10308   List.iter (
10309     fun arg ->
10310       if !needs_comma then pr ", ";
10311       needs_comma := true;
10312
10313       match arg with
10314       | Pathname n
10315       | Device n | Dev_or_Path n
10316       | String n
10317       | OptString n
10318       | FileIn n
10319       | FileOut n ->
10320           pr "String %s" n
10321       | BufferIn n ->
10322           pr "byte[] %s" n
10323       | StringList n | DeviceList n ->
10324           pr "String[] %s" n
10325       | Bool n ->
10326           pr "boolean %s" n
10327       | Int n ->
10328           pr "int %s" n
10329       | Int64 n ->
10330           pr "long %s" n
10331   ) (snd style);
10332
10333   pr ")\n";
10334   pr "    throws LibGuestFSException";
10335   if semicolon then pr ";"
10336
10337 and generate_java_struct jtyp cols () =
10338   generate_header CStyle LGPLv2plus;
10339
10340   pr "\
10341 package com.redhat.et.libguestfs;
10342
10343 /**
10344  * Libguestfs %s structure.
10345  *
10346  * @author rjones
10347  * @see GuestFS
10348  */
10349 public class %s {
10350 " jtyp jtyp;
10351
10352   List.iter (
10353     function
10354     | name, FString
10355     | name, FUUID
10356     | name, FBuffer -> pr "  public String %s;\n" name
10357     | name, (FBytes|FUInt64|FInt64) -> pr "  public long %s;\n" name
10358     | name, (FUInt32|FInt32) -> pr "  public int %s;\n" name
10359     | name, FChar -> pr "  public char %s;\n" name
10360     | name, FOptPercent ->
10361         pr "  /* The next field is [0..100] or -1 meaning 'not present': */\n";
10362         pr "  public float %s;\n" name
10363   ) cols;
10364
10365   pr "}\n"
10366
10367 and generate_java_c () =
10368   generate_header CStyle LGPLv2plus;
10369
10370   pr "\
10371 #include <stdio.h>
10372 #include <stdlib.h>
10373 #include <string.h>
10374
10375 #include \"com_redhat_et_libguestfs_GuestFS.h\"
10376 #include \"guestfs.h\"
10377
10378 /* Note that this function returns.  The exception is not thrown
10379  * until after the wrapper function returns.
10380  */
10381 static void
10382 throw_exception (JNIEnv *env, const char *msg)
10383 {
10384   jclass cl;
10385   cl = (*env)->FindClass (env,
10386                           \"com/redhat/et/libguestfs/LibGuestFSException\");
10387   (*env)->ThrowNew (env, cl, msg);
10388 }
10389
10390 JNIEXPORT jlong JNICALL
10391 Java_com_redhat_et_libguestfs_GuestFS__1create
10392   (JNIEnv *env, jobject obj)
10393 {
10394   guestfs_h *g;
10395
10396   g = guestfs_create ();
10397   if (g == NULL) {
10398     throw_exception (env, \"GuestFS.create: failed to allocate handle\");
10399     return 0;
10400   }
10401   guestfs_set_error_handler (g, NULL, NULL);
10402   return (jlong) (long) g;
10403 }
10404
10405 JNIEXPORT void JNICALL
10406 Java_com_redhat_et_libguestfs_GuestFS__1close
10407   (JNIEnv *env, jobject obj, jlong jg)
10408 {
10409   guestfs_h *g = (guestfs_h *) (long) jg;
10410   guestfs_close (g);
10411 }
10412
10413 ";
10414
10415   List.iter (
10416     fun (name, style, _, _, _, _, _) ->
10417       pr "JNIEXPORT ";
10418       (match fst style with
10419        | RErr -> pr "void ";
10420        | RInt _ -> pr "jint ";
10421        | RInt64 _ -> pr "jlong ";
10422        | RBool _ -> pr "jboolean ";
10423        | RConstString _ | RConstOptString _ | RString _
10424        | RBufferOut _ -> pr "jstring ";
10425        | RStruct _ | RHashtable _ ->
10426            pr "jobject ";
10427        | RStringList _ | RStructList _ ->
10428            pr "jobjectArray ";
10429       );
10430       pr "JNICALL\n";
10431       pr "Java_com_redhat_et_libguestfs_GuestFS_";
10432       pr "%s" (replace_str ("_" ^ name) "_" "_1");
10433       pr "\n";
10434       pr "  (JNIEnv *env, jobject obj, jlong jg";
10435       List.iter (
10436         function
10437         | Pathname n
10438         | Device n | Dev_or_Path n
10439         | String n
10440         | OptString n
10441         | FileIn n
10442         | FileOut n ->
10443             pr ", jstring j%s" n
10444         | BufferIn n ->
10445             pr ", jbyteArray j%s" n
10446         | StringList n | DeviceList n ->
10447             pr ", jobjectArray j%s" n
10448         | Bool n ->
10449             pr ", jboolean j%s" n
10450         | Int n ->
10451             pr ", jint j%s" n
10452         | Int64 n ->
10453             pr ", jlong j%s" n
10454       ) (snd style);
10455       pr ")\n";
10456       pr "{\n";
10457       pr "  guestfs_h *g = (guestfs_h *) (long) jg;\n";
10458       let error_code, no_ret =
10459         match fst style with
10460         | RErr -> pr "  int r;\n"; "-1", ""
10461         | RBool _
10462         | RInt _ -> pr "  int r;\n"; "-1", "0"
10463         | RInt64 _ -> pr "  int64_t r;\n"; "-1", "0"
10464         | RConstString _ -> pr "  const char *r;\n"; "NULL", "NULL"
10465         | RConstOptString _ -> pr "  const char *r;\n"; "NULL", "NULL"
10466         | RString _ ->
10467             pr "  jstring jr;\n";
10468             pr "  char *r;\n"; "NULL", "NULL"
10469         | RStringList _ ->
10470             pr "  jobjectArray jr;\n";
10471             pr "  int r_len;\n";
10472             pr "  jclass cl;\n";
10473             pr "  jstring jstr;\n";
10474             pr "  char **r;\n"; "NULL", "NULL"
10475         | RStruct (_, typ) ->
10476             pr "  jobject jr;\n";
10477             pr "  jclass cl;\n";
10478             pr "  jfieldID fl;\n";
10479             pr "  struct guestfs_%s *r;\n" typ; "NULL", "NULL"
10480         | RStructList (_, typ) ->
10481             pr "  jobjectArray jr;\n";
10482             pr "  jclass cl;\n";
10483             pr "  jfieldID fl;\n";
10484             pr "  jobject jfl;\n";
10485             pr "  struct guestfs_%s_list *r;\n" typ; "NULL", "NULL"
10486         | RHashtable _ -> pr "  char **r;\n"; "NULL", "NULL"
10487         | RBufferOut _ ->
10488             pr "  jstring jr;\n";
10489             pr "  char *r;\n";
10490             pr "  size_t size;\n";
10491             "NULL", "NULL" in
10492       List.iter (
10493         function
10494         | Pathname n
10495         | Device n | Dev_or_Path n
10496         | String n
10497         | OptString n
10498         | FileIn n
10499         | FileOut n ->
10500             pr "  const char *%s;\n" n
10501         | BufferIn n ->
10502             pr "  jbyte *%s;\n" n;
10503             pr "  size_t %s_size;\n" n
10504         | StringList n | DeviceList n ->
10505             pr "  int %s_len;\n" n;
10506             pr "  const char **%s;\n" n
10507         | Bool n
10508         | Int n ->
10509             pr "  int %s;\n" n
10510         | Int64 n ->
10511             pr "  int64_t %s;\n" n
10512       ) (snd style);
10513
10514       let needs_i =
10515         (match fst style with
10516          | RStringList _ | RStructList _ -> true
10517          | RErr | RBool _ | RInt _ | RInt64 _ | RConstString _
10518          | RConstOptString _
10519          | RString _ | RBufferOut _ | RStruct _ | RHashtable _ -> false) ||
10520           List.exists (function
10521                        | StringList _ -> true
10522                        | DeviceList _ -> true
10523                        | _ -> false) (snd style) in
10524       if needs_i then
10525         pr "  int i;\n";
10526
10527       pr "\n";
10528
10529       (* Get the parameters. *)
10530       List.iter (
10531         function
10532         | Pathname n
10533         | Device n | Dev_or_Path n
10534         | String n
10535         | FileIn n
10536         | FileOut n ->
10537             pr "  %s = (*env)->GetStringUTFChars (env, j%s, NULL);\n" n n
10538         | OptString n ->
10539             (* This is completely undocumented, but Java null becomes
10540              * a NULL parameter.
10541              *)
10542             pr "  %s = j%s ? (*env)->GetStringUTFChars (env, j%s, NULL) : NULL;\n" n n n
10543         | BufferIn n ->
10544             pr "  %s = (*env)->GetByteArrayElements (env, j%s, NULL);\n" n n;
10545             pr "  %s_size = (*env)->GetArrayLength (env, j%s);\n" n n
10546         | StringList n | DeviceList n ->
10547             pr "  %s_len = (*env)->GetArrayLength (env, j%s);\n" n n;
10548             pr "  %s = guestfs_safe_malloc (g, sizeof (char *) * (%s_len+1));\n" n n;
10549             pr "  for (i = 0; i < %s_len; ++i) {\n" n;
10550             pr "    jobject o = (*env)->GetObjectArrayElement (env, j%s, i);\n"
10551               n;
10552             pr "    %s[i] = (*env)->GetStringUTFChars (env, o, NULL);\n" n;
10553             pr "  }\n";
10554             pr "  %s[%s_len] = NULL;\n" n n;
10555         | Bool n
10556         | Int n
10557         | Int64 n ->
10558             pr "  %s = j%s;\n" n n
10559       ) (snd style);
10560
10561       (* Make the call. *)
10562       pr "  r = guestfs_%s " name;
10563       generate_c_call_args ~handle:"g" style;
10564       pr ";\n";
10565
10566       (* Release the parameters. *)
10567       List.iter (
10568         function
10569         | Pathname n
10570         | Device n | Dev_or_Path n
10571         | String n
10572         | FileIn n
10573         | FileOut n ->
10574             pr "  (*env)->ReleaseStringUTFChars (env, j%s, %s);\n" n n
10575         | OptString n ->
10576             pr "  if (j%s)\n" n;
10577             pr "    (*env)->ReleaseStringUTFChars (env, j%s, %s);\n" n n
10578         | BufferIn n ->
10579             pr "  (*env)->ReleaseByteArrayElements (env, j%s, %s, 0);\n" n n
10580         | StringList n | DeviceList n ->
10581             pr "  for (i = 0; i < %s_len; ++i) {\n" n;
10582             pr "    jobject o = (*env)->GetObjectArrayElement (env, j%s, i);\n"
10583               n;
10584             pr "    (*env)->ReleaseStringUTFChars (env, o, %s[i]);\n" n;
10585             pr "  }\n";
10586             pr "  free (%s);\n" n
10587         | Bool n
10588         | Int n
10589         | Int64 n -> ()
10590       ) (snd style);
10591
10592       (* Check for errors. *)
10593       pr "  if (r == %s) {\n" error_code;
10594       pr "    throw_exception (env, guestfs_last_error (g));\n";
10595       pr "    return %s;\n" no_ret;
10596       pr "  }\n";
10597
10598       (* Return value. *)
10599       (match fst style with
10600        | RErr -> ()
10601        | RInt _ -> pr "  return (jint) r;\n"
10602        | RBool _ -> pr "  return (jboolean) r;\n"
10603        | RInt64 _ -> pr "  return (jlong) r;\n"
10604        | RConstString _ -> pr "  return (*env)->NewStringUTF (env, r);\n"
10605        | RConstOptString _ ->
10606            pr "  return (*env)->NewStringUTF (env, r); /* XXX r NULL? */\n"
10607        | RString _ ->
10608            pr "  jr = (*env)->NewStringUTF (env, r);\n";
10609            pr "  free (r);\n";
10610            pr "  return jr;\n"
10611        | RStringList _ ->
10612            pr "  for (r_len = 0; r[r_len] != NULL; ++r_len) ;\n";
10613            pr "  cl = (*env)->FindClass (env, \"java/lang/String\");\n";
10614            pr "  jstr = (*env)->NewStringUTF (env, \"\");\n";
10615            pr "  jr = (*env)->NewObjectArray (env, r_len, cl, jstr);\n";
10616            pr "  for (i = 0; i < r_len; ++i) {\n";
10617            pr "    jstr = (*env)->NewStringUTF (env, r[i]);\n";
10618            pr "    (*env)->SetObjectArrayElement (env, jr, i, jstr);\n";
10619            pr "    free (r[i]);\n";
10620            pr "  }\n";
10621            pr "  free (r);\n";
10622            pr "  return jr;\n"
10623        | RStruct (_, typ) ->
10624            let jtyp = java_name_of_struct typ in
10625            let cols = cols_of_struct typ in
10626            generate_java_struct_return typ jtyp cols
10627        | RStructList (_, typ) ->
10628            let jtyp = java_name_of_struct typ in
10629            let cols = cols_of_struct typ in
10630            generate_java_struct_list_return typ jtyp cols
10631        | RHashtable _ ->
10632            (* XXX *)
10633            pr "  throw_exception (env, \"%s: internal error: please let us know how to make a Java HashMap from JNI bindings!\");\n" name;
10634            pr "  return NULL;\n"
10635        | RBufferOut _ ->
10636            pr "  jr = (*env)->NewStringUTF (env, r); /* XXX size */\n";
10637            pr "  free (r);\n";
10638            pr "  return jr;\n"
10639       );
10640
10641       pr "}\n";
10642       pr "\n"
10643   ) all_functions
10644
10645 and generate_java_struct_return typ jtyp cols =
10646   pr "  cl = (*env)->FindClass (env, \"com/redhat/et/libguestfs/%s\");\n" jtyp;
10647   pr "  jr = (*env)->AllocObject (env, cl);\n";
10648   List.iter (
10649     function
10650     | name, FString ->
10651         pr "  fl = (*env)->GetFieldID (env, cl, \"%s\", \"Ljava/lang/String;\");\n" name;
10652         pr "  (*env)->SetObjectField (env, jr, fl, (*env)->NewStringUTF (env, r->%s));\n" name;
10653     | name, FUUID ->
10654         pr "  {\n";
10655         pr "    char s[33];\n";
10656         pr "    memcpy (s, r->%s, 32);\n" name;
10657         pr "    s[32] = 0;\n";
10658         pr "    fl = (*env)->GetFieldID (env, cl, \"%s\", \"Ljava/lang/String;\");\n" name;
10659         pr "    (*env)->SetObjectField (env, jr, fl, (*env)->NewStringUTF (env, s));\n";
10660         pr "  }\n";
10661     | name, FBuffer ->
10662         pr "  {\n";
10663         pr "    int len = r->%s_len;\n" name;
10664         pr "    char s[len+1];\n";
10665         pr "    memcpy (s, r->%s, len);\n" name;
10666         pr "    s[len] = 0;\n";
10667         pr "    fl = (*env)->GetFieldID (env, cl, \"%s\", \"Ljava/lang/String;\");\n" name;
10668         pr "    (*env)->SetObjectField (env, jr, fl, (*env)->NewStringUTF (env, s));\n";
10669         pr "  }\n";
10670     | name, (FBytes|FUInt64|FInt64) ->
10671         pr "  fl = (*env)->GetFieldID (env, cl, \"%s\", \"J\");\n" name;
10672         pr "  (*env)->SetLongField (env, jr, fl, r->%s);\n" name;
10673     | name, (FUInt32|FInt32) ->
10674         pr "  fl = (*env)->GetFieldID (env, cl, \"%s\", \"I\");\n" name;
10675         pr "  (*env)->SetLongField (env, jr, fl, r->%s);\n" name;
10676     | name, FOptPercent ->
10677         pr "  fl = (*env)->GetFieldID (env, cl, \"%s\", \"F\");\n" name;
10678         pr "  (*env)->SetFloatField (env, jr, fl, r->%s);\n" name;
10679     | name, FChar ->
10680         pr "  fl = (*env)->GetFieldID (env, cl, \"%s\", \"C\");\n" name;
10681         pr "  (*env)->SetLongField (env, jr, fl, r->%s);\n" name;
10682   ) cols;
10683   pr "  free (r);\n";
10684   pr "  return jr;\n"
10685
10686 and generate_java_struct_list_return typ jtyp cols =
10687   pr "  cl = (*env)->FindClass (env, \"com/redhat/et/libguestfs/%s\");\n" jtyp;
10688   pr "  jr = (*env)->NewObjectArray (env, r->len, cl, NULL);\n";
10689   pr "  for (i = 0; i < r->len; ++i) {\n";
10690   pr "    jfl = (*env)->AllocObject (env, cl);\n";
10691   List.iter (
10692     function
10693     | name, FString ->
10694         pr "    fl = (*env)->GetFieldID (env, cl, \"%s\", \"Ljava/lang/String;\");\n" name;
10695         pr "    (*env)->SetObjectField (env, jfl, fl, (*env)->NewStringUTF (env, r->val[i].%s));\n" name;
10696     | name, FUUID ->
10697         pr "    {\n";
10698         pr "      char s[33];\n";
10699         pr "      memcpy (s, r->val[i].%s, 32);\n" name;
10700         pr "      s[32] = 0;\n";
10701         pr "      fl = (*env)->GetFieldID (env, cl, \"%s\", \"Ljava/lang/String;\");\n" name;
10702         pr "      (*env)->SetObjectField (env, jfl, fl, (*env)->NewStringUTF (env, s));\n";
10703         pr "    }\n";
10704     | name, FBuffer ->
10705         pr "    {\n";
10706         pr "      int len = r->val[i].%s_len;\n" name;
10707         pr "      char s[len+1];\n";
10708         pr "      memcpy (s, r->val[i].%s, len);\n" name;
10709         pr "      s[len] = 0;\n";
10710         pr "      fl = (*env)->GetFieldID (env, cl, \"%s\", \"Ljava/lang/String;\");\n" name;
10711         pr "      (*env)->SetObjectField (env, jfl, fl, (*env)->NewStringUTF (env, s));\n";
10712         pr "    }\n";
10713     | name, (FBytes|FUInt64|FInt64) ->
10714         pr "    fl = (*env)->GetFieldID (env, cl, \"%s\", \"J\");\n" name;
10715         pr "    (*env)->SetLongField (env, jfl, fl, r->val[i].%s);\n" name;
10716     | name, (FUInt32|FInt32) ->
10717         pr "    fl = (*env)->GetFieldID (env, cl, \"%s\", \"I\");\n" name;
10718         pr "    (*env)->SetLongField (env, jfl, fl, r->val[i].%s);\n" name;
10719     | name, FOptPercent ->
10720         pr "    fl = (*env)->GetFieldID (env, cl, \"%s\", \"F\");\n" name;
10721         pr "    (*env)->SetFloatField (env, jfl, fl, r->val[i].%s);\n" name;
10722     | name, FChar ->
10723         pr "    fl = (*env)->GetFieldID (env, cl, \"%s\", \"C\");\n" name;
10724         pr "    (*env)->SetLongField (env, jfl, fl, r->val[i].%s);\n" name;
10725   ) cols;
10726   pr "    (*env)->SetObjectArrayElement (env, jfl, i, jfl);\n";
10727   pr "  }\n";
10728   pr "  guestfs_free_%s_list (r);\n" typ;
10729   pr "  return jr;\n"
10730
10731 and generate_java_makefile_inc () =
10732   generate_header HashStyle GPLv2plus;
10733
10734   pr "java_built_sources = \\\n";
10735   List.iter (
10736     fun (typ, jtyp) ->
10737         pr "\tcom/redhat/et/libguestfs/%s.java \\\n" jtyp;
10738   ) java_structs;
10739   pr "\tcom/redhat/et/libguestfs/GuestFS.java\n"
10740
10741 and generate_haskell_hs () =
10742   generate_header HaskellStyle LGPLv2plus;
10743
10744   (* XXX We only know how to generate partial FFI for Haskell
10745    * at the moment.  Please help out!
10746    *)
10747   let can_generate style =
10748     match style with
10749     | RErr, _
10750     | RInt _, _
10751     | RInt64 _, _ -> true
10752     | RBool _, _
10753     | RConstString _, _
10754     | RConstOptString _, _
10755     | RString _, _
10756     | RStringList _, _
10757     | RStruct _, _
10758     | RStructList _, _
10759     | RHashtable _, _
10760     | RBufferOut _, _ -> false in
10761
10762   pr "\
10763 {-# INCLUDE <guestfs.h> #-}
10764 {-# LANGUAGE ForeignFunctionInterface #-}
10765
10766 module Guestfs (
10767   create";
10768
10769   (* List out the names of the actions we want to export. *)
10770   List.iter (
10771     fun (name, style, _, _, _, _, _) ->
10772       if can_generate style then pr ",\n  %s" name
10773   ) all_functions;
10774
10775   pr "
10776   ) where
10777
10778 -- Unfortunately some symbols duplicate ones already present
10779 -- in Prelude.  We don't know which, so we hard-code a list
10780 -- here.
10781 import Prelude hiding (truncate)
10782
10783 import Foreign
10784 import Foreign.C
10785 import Foreign.C.Types
10786 import IO
10787 import Control.Exception
10788 import Data.Typeable
10789
10790 data GuestfsS = GuestfsS            -- represents the opaque C struct
10791 type GuestfsP = Ptr GuestfsS        -- guestfs_h *
10792 type GuestfsH = ForeignPtr GuestfsS -- guestfs_h * with attached finalizer
10793
10794 -- XXX define properly later XXX
10795 data PV = PV
10796 data VG = VG
10797 data LV = LV
10798 data IntBool = IntBool
10799 data Stat = Stat
10800 data StatVFS = StatVFS
10801 data Hashtable = Hashtable
10802
10803 foreign import ccall unsafe \"guestfs_create\" c_create
10804   :: IO GuestfsP
10805 foreign import ccall unsafe \"&guestfs_close\" c_close
10806   :: FunPtr (GuestfsP -> IO ())
10807 foreign import ccall unsafe \"guestfs_set_error_handler\" c_set_error_handler
10808   :: GuestfsP -> Ptr CInt -> Ptr CInt -> IO ()
10809
10810 create :: IO GuestfsH
10811 create = do
10812   p <- c_create
10813   c_set_error_handler p nullPtr nullPtr
10814   h <- newForeignPtr c_close p
10815   return h
10816
10817 foreign import ccall unsafe \"guestfs_last_error\" c_last_error
10818   :: GuestfsP -> IO CString
10819
10820 -- last_error :: GuestfsH -> IO (Maybe String)
10821 -- last_error h = do
10822 --   str <- withForeignPtr h (\\p -> c_last_error p)
10823 --   maybePeek peekCString str
10824
10825 last_error :: GuestfsH -> IO (String)
10826 last_error h = do
10827   str <- withForeignPtr h (\\p -> c_last_error p)
10828   if (str == nullPtr)
10829     then return \"no error\"
10830     else peekCString str
10831
10832 ";
10833
10834   (* Generate wrappers for each foreign function. *)
10835   List.iter (
10836     fun (name, style, _, _, _, _, _) ->
10837       if can_generate style then (
10838         pr "foreign import ccall unsafe \"guestfs_%s\" c_%s\n" name name;
10839         pr "  :: ";
10840         generate_haskell_prototype ~handle:"GuestfsP" style;
10841         pr "\n";
10842         pr "\n";
10843         pr "%s :: " name;
10844         generate_haskell_prototype ~handle:"GuestfsH" ~hs:true style;
10845         pr "\n";
10846         pr "%s %s = do\n" name
10847           (String.concat " " ("h" :: List.map name_of_argt (snd style)));
10848         pr "  r <- ";
10849         (* Convert pointer arguments using with* functions. *)
10850         List.iter (
10851           function
10852           | FileIn n
10853           | FileOut n
10854           | Pathname n | Device n | Dev_or_Path n | String n ->
10855               pr "withCString %s $ \\%s -> " n n
10856           | BufferIn n ->
10857               pr "withCStringLen %s $ \\(%s, %s_size) -> " n n n
10858           | OptString n -> pr "maybeWith withCString %s $ \\%s -> " n n
10859           | StringList n | DeviceList n -> pr "withMany withCString %s $ \\%s -> withArray0 nullPtr %s $ \\%s -> " n n n n
10860           | Bool _ | Int _ | Int64 _ -> ()
10861         ) (snd style);
10862         (* Convert integer arguments. *)
10863         let args =
10864           List.map (
10865             function
10866             | Bool n -> sprintf "(fromBool %s)" n
10867             | Int n -> sprintf "(fromIntegral %s)" n
10868             | Int64 n -> sprintf "(fromIntegral %s)" n
10869             | FileIn n | FileOut n
10870             | Pathname n | Device n | Dev_or_Path n | String n | OptString n | StringList n | DeviceList n -> n
10871             | BufferIn n -> sprintf "%s (fromIntegral %s_size)" n n
10872           ) (snd style) in
10873         pr "withForeignPtr h (\\p -> c_%s %s)\n" name
10874           (String.concat " " ("p" :: args));
10875         (match fst style with
10876          | RErr | RInt _ | RInt64 _ | RBool _ ->
10877              pr "  if (r == -1)\n";
10878              pr "    then do\n";
10879              pr "      err <- last_error h\n";
10880              pr "      fail err\n";
10881          | RConstString _ | RConstOptString _ | RString _
10882          | RStringList _ | RStruct _
10883          | RStructList _ | RHashtable _ | RBufferOut _ ->
10884              pr "  if (r == nullPtr)\n";
10885              pr "    then do\n";
10886              pr "      err <- last_error h\n";
10887              pr "      fail err\n";
10888         );
10889         (match fst style with
10890          | RErr ->
10891              pr "    else return ()\n"
10892          | RInt _ ->
10893              pr "    else return (fromIntegral r)\n"
10894          | RInt64 _ ->
10895              pr "    else return (fromIntegral r)\n"
10896          | RBool _ ->
10897              pr "    else return (toBool r)\n"
10898          | RConstString _
10899          | RConstOptString _
10900          | RString _
10901          | RStringList _
10902          | RStruct _
10903          | RStructList _
10904          | RHashtable _
10905          | RBufferOut _ ->
10906              pr "    else return ()\n" (* XXXXXXXXXXXXXXXXXXXX *)
10907         );
10908         pr "\n";
10909       )
10910   ) all_functions
10911
10912 and generate_haskell_prototype ~handle ?(hs = false) style =
10913   pr "%s -> " handle;
10914   let string = if hs then "String" else "CString" in
10915   let int = if hs then "Int" else "CInt" in
10916   let bool = if hs then "Bool" else "CInt" in
10917   let int64 = if hs then "Integer" else "Int64" in
10918   List.iter (
10919     fun arg ->
10920       (match arg with
10921        | Pathname _ | Device _ | Dev_or_Path _ | String _ -> pr "%s" string
10922        | BufferIn _ ->
10923            if hs then pr "String"
10924            else pr "CString -> CInt"
10925        | OptString _ -> if hs then pr "Maybe String" else pr "CString"
10926        | StringList _ | DeviceList _ -> if hs then pr "[String]" else pr "Ptr CString"
10927        | Bool _ -> pr "%s" bool
10928        | Int _ -> pr "%s" int
10929        | Int64 _ -> pr "%s" int
10930        | FileIn _ -> pr "%s" string
10931        | FileOut _ -> pr "%s" string
10932       );
10933       pr " -> ";
10934   ) (snd style);
10935   pr "IO (";
10936   (match fst style with
10937    | RErr -> if not hs then pr "CInt"
10938    | RInt _ -> pr "%s" int
10939    | RInt64 _ -> pr "%s" int64
10940    | RBool _ -> pr "%s" bool
10941    | RConstString _ -> pr "%s" string
10942    | RConstOptString _ -> pr "Maybe %s" string
10943    | RString _ -> pr "%s" string
10944    | RStringList _ -> pr "[%s]" string
10945    | RStruct (_, typ) ->
10946        let name = java_name_of_struct typ in
10947        pr "%s" name
10948    | RStructList (_, typ) ->
10949        let name = java_name_of_struct typ in
10950        pr "[%s]" name
10951    | RHashtable _ -> pr "Hashtable"
10952    | RBufferOut _ -> pr "%s" string
10953   );
10954   pr ")"
10955
10956 and generate_csharp () =
10957   generate_header CPlusPlusStyle LGPLv2plus;
10958
10959   (* XXX Make this configurable by the C# assembly users. *)
10960   let library = "libguestfs.so.0" in
10961
10962   pr "\
10963 // These C# bindings are highly experimental at present.
10964 //
10965 // Firstly they only work on Linux (ie. Mono).  In order to get them
10966 // to work on Windows (ie. .Net) you would need to port the library
10967 // itself to Windows first.
10968 //
10969 // The second issue is that some calls are known to be incorrect and
10970 // can cause Mono to segfault.  Particularly: calls which pass or
10971 // return string[], or return any structure value.  This is because
10972 // we haven't worked out the correct way to do this from C#.
10973 //
10974 // The third issue is that when compiling you get a lot of warnings.
10975 // We are not sure whether the warnings are important or not.
10976 //
10977 // Fourthly we do not routinely build or test these bindings as part
10978 // of the make && make check cycle, which means that regressions might
10979 // go unnoticed.
10980 //
10981 // Suggestions and patches are welcome.
10982
10983 // To compile:
10984 //
10985 // gmcs Libguestfs.cs
10986 // mono Libguestfs.exe
10987 //
10988 // (You'll probably want to add a Test class / static main function
10989 // otherwise this won't do anything useful).
10990
10991 using System;
10992 using System.IO;
10993 using System.Runtime.InteropServices;
10994 using System.Runtime.Serialization;
10995 using System.Collections;
10996
10997 namespace Guestfs
10998 {
10999   class Error : System.ApplicationException
11000   {
11001     public Error (string message) : base (message) {}
11002     protected Error (SerializationInfo info, StreamingContext context) {}
11003   }
11004
11005   class Guestfs
11006   {
11007     IntPtr _handle;
11008
11009     [DllImport (\"%s\")]
11010     static extern IntPtr guestfs_create ();
11011
11012     public Guestfs ()
11013     {
11014       _handle = guestfs_create ();
11015       if (_handle == IntPtr.Zero)
11016         throw new Error (\"could not create guestfs handle\");
11017     }
11018
11019     [DllImport (\"%s\")]
11020     static extern void guestfs_close (IntPtr h);
11021
11022     ~Guestfs ()
11023     {
11024       guestfs_close (_handle);
11025     }
11026
11027     [DllImport (\"%s\")]
11028     static extern string guestfs_last_error (IntPtr h);
11029
11030 " library library library;
11031
11032   (* Generate C# structure bindings.  We prefix struct names with
11033    * underscore because C# cannot have conflicting struct names and
11034    * method names (eg. "class stat" and "stat").
11035    *)
11036   List.iter (
11037     fun (typ, cols) ->
11038       pr "    [StructLayout (LayoutKind.Sequential)]\n";
11039       pr "    public class _%s {\n" typ;
11040       List.iter (
11041         function
11042         | name, FChar -> pr "      char %s;\n" name
11043         | name, FString -> pr "      string %s;\n" name
11044         | name, FBuffer ->
11045             pr "      uint %s_len;\n" name;
11046             pr "      string %s;\n" name
11047         | name, FUUID ->
11048             pr "      [MarshalAs (UnmanagedType.ByValTStr, SizeConst=16)]\n";
11049             pr "      string %s;\n" name
11050         | name, FUInt32 -> pr "      uint %s;\n" name
11051         | name, FInt32 -> pr "      int %s;\n" name
11052         | name, (FUInt64|FBytes) -> pr "      ulong %s;\n" name
11053         | name, FInt64 -> pr "      long %s;\n" name
11054         | name, FOptPercent -> pr "      float %s; /* [0..100] or -1 */\n" name
11055       ) cols;
11056       pr "    }\n";
11057       pr "\n"
11058   ) structs;
11059
11060   (* Generate C# function bindings. *)
11061   List.iter (
11062     fun (name, style, _, _, _, shortdesc, _) ->
11063       let rec csharp_return_type () =
11064         match fst style with
11065         | RErr -> "void"
11066         | RBool n -> "bool"
11067         | RInt n -> "int"
11068         | RInt64 n -> "long"
11069         | RConstString n
11070         | RConstOptString n
11071         | RString n
11072         | RBufferOut n -> "string"
11073         | RStruct (_,n) -> "_" ^ n
11074         | RHashtable n -> "Hashtable"
11075         | RStringList n -> "string[]"
11076         | RStructList (_,n) -> sprintf "_%s[]" n
11077
11078       and c_return_type () =
11079         match fst style with
11080         | RErr
11081         | RBool _
11082         | RInt _ -> "int"
11083         | RInt64 _ -> "long"
11084         | RConstString _
11085         | RConstOptString _
11086         | RString _
11087         | RBufferOut _ -> "string"
11088         | RStruct (_,n) -> "_" ^ n
11089         | RHashtable _
11090         | RStringList _ -> "string[]"
11091         | RStructList (_,n) -> sprintf "_%s[]" n
11092
11093       and c_error_comparison () =
11094         match fst style with
11095         | RErr
11096         | RBool _
11097         | RInt _
11098         | RInt64 _ -> "== -1"
11099         | RConstString _
11100         | RConstOptString _
11101         | RString _
11102         | RBufferOut _
11103         | RStruct (_,_)
11104         | RHashtable _
11105         | RStringList _
11106         | RStructList (_,_) -> "== null"
11107
11108       and generate_extern_prototype () =
11109         pr "    static extern %s guestfs_%s (IntPtr h"
11110           (c_return_type ()) name;
11111         List.iter (
11112           function
11113           | Pathname n | Device n | Dev_or_Path n | String n | OptString n
11114           | FileIn n | FileOut n
11115           | BufferIn n ->
11116               pr ", [In] string %s" n
11117           | StringList n | DeviceList n ->
11118               pr ", [In] string[] %s" n
11119           | Bool n ->
11120               pr ", bool %s" n
11121           | Int n ->
11122               pr ", int %s" n
11123           | Int64 n ->
11124               pr ", long %s" n
11125         ) (snd style);
11126         pr ");\n"
11127
11128       and generate_public_prototype () =
11129         pr "    public %s %s (" (csharp_return_type ()) name;
11130         let comma = ref false in
11131         let next () =
11132           if !comma then pr ", ";
11133           comma := true
11134         in
11135         List.iter (
11136           function
11137           | Pathname n | Device n | Dev_or_Path n | String n | OptString n
11138           | FileIn n | FileOut n
11139           | BufferIn n ->
11140               next (); pr "string %s" n
11141           | StringList n | DeviceList n ->
11142               next (); pr "string[] %s" n
11143           | Bool n ->
11144               next (); pr "bool %s" n
11145           | Int n ->
11146               next (); pr "int %s" n
11147           | Int64 n ->
11148               next (); pr "long %s" n
11149         ) (snd style);
11150         pr ")\n"
11151
11152       and generate_call () =
11153         pr "guestfs_%s (_handle" name;
11154         List.iter (fun arg -> pr ", %s" (name_of_argt arg)) (snd style);
11155         pr ");\n";
11156       in
11157
11158       pr "    [DllImport (\"%s\")]\n" library;
11159       generate_extern_prototype ();
11160       pr "\n";
11161       pr "    /// <summary>\n";
11162       pr "    /// %s\n" shortdesc;
11163       pr "    /// </summary>\n";
11164       generate_public_prototype ();
11165       pr "    {\n";
11166       pr "      %s r;\n" (c_return_type ());
11167       pr "      r = ";
11168       generate_call ();
11169       pr "      if (r %s)\n" (c_error_comparison ());
11170       pr "        throw new Error (guestfs_last_error (_handle));\n";
11171       (match fst style with
11172        | RErr -> ()
11173        | RBool _ ->
11174            pr "      return r != 0 ? true : false;\n"
11175        | RHashtable _ ->
11176            pr "      Hashtable rr = new Hashtable ();\n";
11177            pr "      for (int i = 0; i < r.Length; i += 2)\n";
11178            pr "        rr.Add (r[i], r[i+1]);\n";
11179            pr "      return rr;\n"
11180        | RInt _ | RInt64 _ | RConstString _ | RConstOptString _
11181        | RString _ | RBufferOut _ | RStruct _ | RStringList _
11182        | RStructList _ ->
11183            pr "      return r;\n"
11184       );
11185       pr "    }\n";
11186       pr "\n";
11187   ) all_functions_sorted;
11188
11189   pr "  }
11190 }
11191 "
11192
11193 and generate_bindtests () =
11194   generate_header CStyle LGPLv2plus;
11195
11196   pr "\
11197 #include <stdio.h>
11198 #include <stdlib.h>
11199 #include <inttypes.h>
11200 #include <string.h>
11201
11202 #include \"guestfs.h\"
11203 #include \"guestfs-internal.h\"
11204 #include \"guestfs-internal-actions.h\"
11205 #include \"guestfs_protocol.h\"
11206
11207 #define error guestfs_error
11208 #define safe_calloc guestfs_safe_calloc
11209 #define safe_malloc guestfs_safe_malloc
11210
11211 static void
11212 print_strings (char *const *argv)
11213 {
11214   int argc;
11215
11216   printf (\"[\");
11217   for (argc = 0; argv[argc] != NULL; ++argc) {
11218     if (argc > 0) printf (\", \");
11219     printf (\"\\\"%%s\\\"\", argv[argc]);
11220   }
11221   printf (\"]\\n\");
11222 }
11223
11224 /* The test0 function prints its parameters to stdout. */
11225 ";
11226
11227   let test0, tests =
11228     match test_functions with
11229     | [] -> assert false
11230     | test0 :: tests -> test0, tests in
11231
11232   let () =
11233     let (name, style, _, _, _, _, _) = test0 in
11234     generate_prototype ~extern:false ~semicolon:false ~newline:true
11235       ~handle:"g" ~prefix:"guestfs__" name style;
11236     pr "{\n";
11237     List.iter (
11238       function
11239       | Pathname n
11240       | Device n | Dev_or_Path n
11241       | String n
11242       | FileIn n
11243       | FileOut n -> pr "  printf (\"%%s\\n\", %s);\n" n
11244       | BufferIn n ->
11245           pr "  {\n";
11246           pr "    size_t i;\n";
11247           pr "    for (i = 0; i < %s_size; ++i)\n" n;
11248           pr "      printf (\"<%%02x>\", %s[i]);\n" n;
11249           pr "    printf (\"\\n\");\n";
11250           pr "  }\n";
11251       | OptString n -> pr "  printf (\"%%s\\n\", %s ? %s : \"null\");\n" n n
11252       | StringList n | DeviceList n -> pr "  print_strings (%s);\n" n
11253       | Bool n -> pr "  printf (\"%%s\\n\", %s ? \"true\" : \"false\");\n" n
11254       | Int n -> pr "  printf (\"%%d\\n\", %s);\n" n
11255       | Int64 n -> pr "  printf (\"%%\" PRIi64 \"\\n\", %s);\n" n
11256     ) (snd style);
11257     pr "  /* Java changes stdout line buffering so we need this: */\n";
11258     pr "  fflush (stdout);\n";
11259     pr "  return 0;\n";
11260     pr "}\n";
11261     pr "\n" in
11262
11263   List.iter (
11264     fun (name, style, _, _, _, _, _) ->
11265       if String.sub name (String.length name - 3) 3 <> "err" then (
11266         pr "/* Test normal return. */\n";
11267         generate_prototype ~extern:false ~semicolon:false ~newline:true
11268           ~handle:"g" ~prefix:"guestfs__" name style;
11269         pr "{\n";
11270         (match fst style with
11271          | RErr ->
11272              pr "  return 0;\n"
11273          | RInt _ ->
11274              pr "  int r;\n";
11275              pr "  sscanf (val, \"%%d\", &r);\n";
11276              pr "  return r;\n"
11277          | RInt64 _ ->
11278              pr "  int64_t r;\n";
11279              pr "  sscanf (val, \"%%\" SCNi64, &r);\n";
11280              pr "  return r;\n"
11281          | RBool _ ->
11282              pr "  return STREQ (val, \"true\");\n"
11283          | RConstString _
11284          | RConstOptString _ ->
11285              (* Can't return the input string here.  Return a static
11286               * string so we ensure we get a segfault if the caller
11287               * tries to free it.
11288               *)
11289              pr "  return \"static string\";\n"
11290          | RString _ ->
11291              pr "  return strdup (val);\n"
11292          | RStringList _ ->
11293              pr "  char **strs;\n";
11294              pr "  int n, i;\n";
11295              pr "  sscanf (val, \"%%d\", &n);\n";
11296              pr "  strs = safe_malloc (g, (n+1) * sizeof (char *));\n";
11297              pr "  for (i = 0; i < n; ++i) {\n";
11298              pr "    strs[i] = safe_malloc (g, 16);\n";
11299              pr "    snprintf (strs[i], 16, \"%%d\", i);\n";
11300              pr "  }\n";
11301              pr "  strs[n] = NULL;\n";
11302              pr "  return strs;\n"
11303          | RStruct (_, typ) ->
11304              pr "  struct guestfs_%s *r;\n" typ;
11305              pr "  r = safe_calloc (g, sizeof *r, 1);\n";
11306              pr "  return r;\n"
11307          | RStructList (_, typ) ->
11308              pr "  struct guestfs_%s_list *r;\n" typ;
11309              pr "  r = safe_calloc (g, sizeof *r, 1);\n";
11310              pr "  sscanf (val, \"%%d\", &r->len);\n";
11311              pr "  r->val = safe_calloc (g, r->len, sizeof *r->val);\n";
11312              pr "  return r;\n"
11313          | RHashtable _ ->
11314              pr "  char **strs;\n";
11315              pr "  int n, i;\n";
11316              pr "  sscanf (val, \"%%d\", &n);\n";
11317              pr "  strs = safe_malloc (g, (n*2+1) * sizeof (*strs));\n";
11318              pr "  for (i = 0; i < n; ++i) {\n";
11319              pr "    strs[i*2] = safe_malloc (g, 16);\n";
11320              pr "    strs[i*2+1] = safe_malloc (g, 16);\n";
11321              pr "    snprintf (strs[i*2], 16, \"%%d\", i);\n";
11322              pr "    snprintf (strs[i*2+1], 16, \"%%d\", i);\n";
11323              pr "  }\n";
11324              pr "  strs[n*2] = NULL;\n";
11325              pr "  return strs;\n"
11326          | RBufferOut _ ->
11327              pr "  return strdup (val);\n"
11328         );
11329         pr "}\n";
11330         pr "\n"
11331       ) else (
11332         pr "/* Test error return. */\n";
11333         generate_prototype ~extern:false ~semicolon:false ~newline:true
11334           ~handle:"g" ~prefix:"guestfs__" name style;
11335         pr "{\n";
11336         pr "  error (g, \"error\");\n";
11337         (match fst style with
11338          | RErr | RInt _ | RInt64 _ | RBool _ ->
11339              pr "  return -1;\n"
11340          | RConstString _ | RConstOptString _
11341          | RString _ | RStringList _ | RStruct _
11342          | RStructList _
11343          | RHashtable _
11344          | RBufferOut _ ->
11345              pr "  return NULL;\n"
11346         );
11347         pr "}\n";
11348         pr "\n"
11349       )
11350   ) tests
11351
11352 and generate_ocaml_bindtests () =
11353   generate_header OCamlStyle GPLv2plus;
11354
11355   pr "\
11356 let () =
11357   let g = Guestfs.create () in
11358 ";
11359
11360   let mkargs args =
11361     String.concat " " (
11362       List.map (
11363         function
11364         | CallString s -> "\"" ^ s ^ "\""
11365         | CallOptString None -> "None"
11366         | CallOptString (Some s) -> sprintf "(Some \"%s\")" s
11367         | CallStringList xs ->
11368             "[|" ^ String.concat ";" (List.map (sprintf "\"%s\"") xs) ^ "|]"
11369         | CallInt i when i >= 0 -> string_of_int i
11370         | CallInt i (* when i < 0 *) -> "(" ^ string_of_int i ^ ")"
11371         | CallInt64 i when i >= 0L -> Int64.to_string i ^ "L"
11372         | CallInt64 i (* when i < 0L *) -> "(" ^ Int64.to_string i ^ "L)"
11373         | CallBool b -> string_of_bool b
11374         | CallBuffer s -> sprintf "%S" s
11375       ) args
11376     )
11377   in
11378
11379   generate_lang_bindtests (
11380     fun f args -> pr "  Guestfs.%s g %s;\n" f (mkargs args)
11381   );
11382
11383   pr "print_endline \"EOF\"\n"
11384
11385 and generate_perl_bindtests () =
11386   pr "#!/usr/bin/perl -w\n";
11387   generate_header HashStyle GPLv2plus;
11388
11389   pr "\
11390 use strict;
11391
11392 use Sys::Guestfs;
11393
11394 my $g = Sys::Guestfs->new ();
11395 ";
11396
11397   let mkargs args =
11398     String.concat ", " (
11399       List.map (
11400         function
11401         | CallString s -> "\"" ^ s ^ "\""
11402         | CallOptString None -> "undef"
11403         | CallOptString (Some s) -> sprintf "\"%s\"" s
11404         | CallStringList xs ->
11405             "[" ^ String.concat "," (List.map (sprintf "\"%s\"") xs) ^ "]"
11406         | CallInt i -> string_of_int i
11407         | CallInt64 i -> Int64.to_string i
11408         | CallBool b -> if b then "1" else "0"
11409         | CallBuffer s -> "\"" ^ c_quote s ^ "\""
11410       ) args
11411     )
11412   in
11413
11414   generate_lang_bindtests (
11415     fun f args -> pr "$g->%s (%s);\n" f (mkargs args)
11416   );
11417
11418   pr "print \"EOF\\n\"\n"
11419
11420 and generate_python_bindtests () =
11421   generate_header HashStyle GPLv2plus;
11422
11423   pr "\
11424 import guestfs
11425
11426 g = guestfs.GuestFS ()
11427 ";
11428
11429   let mkargs args =
11430     String.concat ", " (
11431       List.map (
11432         function
11433         | CallString s -> "\"" ^ s ^ "\""
11434         | CallOptString None -> "None"
11435         | CallOptString (Some s) -> sprintf "\"%s\"" s
11436         | CallStringList xs ->
11437             "[" ^ String.concat "," (List.map (sprintf "\"%s\"") xs) ^ "]"
11438         | CallInt i -> string_of_int i
11439         | CallInt64 i -> Int64.to_string i
11440         | CallBool b -> if b then "1" else "0"
11441         | CallBuffer s -> "\"" ^ c_quote s ^ "\""
11442       ) args
11443     )
11444   in
11445
11446   generate_lang_bindtests (
11447     fun f args -> pr "g.%s (%s)\n" f (mkargs args)
11448   );
11449
11450   pr "print \"EOF\"\n"
11451
11452 and generate_ruby_bindtests () =
11453   generate_header HashStyle GPLv2plus;
11454
11455   pr "\
11456 require 'guestfs'
11457
11458 g = Guestfs::create()
11459 ";
11460
11461   let mkargs args =
11462     String.concat ", " (
11463       List.map (
11464         function
11465         | CallString s -> "\"" ^ s ^ "\""
11466         | CallOptString None -> "nil"
11467         | CallOptString (Some s) -> sprintf "\"%s\"" s
11468         | CallStringList xs ->
11469             "[" ^ String.concat "," (List.map (sprintf "\"%s\"") xs) ^ "]"
11470         | CallInt i -> string_of_int i
11471         | CallInt64 i -> Int64.to_string i
11472         | CallBool b -> string_of_bool b
11473         | CallBuffer s -> "\"" ^ c_quote s ^ "\""
11474       ) args
11475     )
11476   in
11477
11478   generate_lang_bindtests (
11479     fun f args -> pr "g.%s(%s)\n" f (mkargs args)
11480   );
11481
11482   pr "print \"EOF\\n\"\n"
11483
11484 and generate_java_bindtests () =
11485   generate_header CStyle GPLv2plus;
11486
11487   pr "\
11488 import com.redhat.et.libguestfs.*;
11489
11490 public class Bindtests {
11491     public static void main (String[] argv)
11492     {
11493         try {
11494             GuestFS g = new GuestFS ();
11495 ";
11496
11497   let mkargs args =
11498     String.concat ", " (
11499       List.map (
11500         function
11501         | CallString s -> "\"" ^ s ^ "\""
11502         | CallOptString None -> "null"
11503         | CallOptString (Some s) -> sprintf "\"%s\"" s
11504         | CallStringList xs ->
11505             "new String[]{" ^
11506               String.concat "," (List.map (sprintf "\"%s\"") xs) ^ "}"
11507         | CallInt i -> string_of_int i
11508         | CallInt64 i -> Int64.to_string i
11509         | CallBool b -> string_of_bool b
11510         | CallBuffer s ->
11511             "new byte[] { " ^ String.concat "," (
11512               map_chars (fun c -> string_of_int (Char.code c)) s
11513             ) ^ " }"
11514       ) args
11515     )
11516   in
11517
11518   generate_lang_bindtests (
11519     fun f args -> pr "            g.%s (%s);\n" f (mkargs args)
11520   );
11521
11522   pr "
11523             System.out.println (\"EOF\");
11524         }
11525         catch (Exception exn) {
11526             System.err.println (exn);
11527             System.exit (1);
11528         }
11529     }
11530 }
11531 "
11532
11533 and generate_haskell_bindtests () =
11534   generate_header HaskellStyle GPLv2plus;
11535
11536   pr "\
11537 module Bindtests where
11538 import qualified Guestfs
11539
11540 main = do
11541   g <- Guestfs.create
11542 ";
11543
11544   let mkargs args =
11545     String.concat " " (
11546       List.map (
11547         function
11548         | CallString s -> "\"" ^ s ^ "\""
11549         | CallOptString None -> "Nothing"
11550         | CallOptString (Some s) -> sprintf "(Just \"%s\")" s
11551         | CallStringList xs ->
11552             "[" ^ String.concat "," (List.map (sprintf "\"%s\"") xs) ^ "]"
11553         | CallInt i when i < 0 -> "(" ^ string_of_int i ^ ")"
11554         | CallInt i -> string_of_int i
11555         | CallInt64 i when i < 0L -> "(" ^ Int64.to_string i ^ ")"
11556         | CallInt64 i -> Int64.to_string i
11557         | CallBool true -> "True"
11558         | CallBool false -> "False"
11559         | CallBuffer s -> "\"" ^ c_quote s ^ "\""
11560       ) args
11561     )
11562   in
11563
11564   generate_lang_bindtests (
11565     fun f args -> pr "  Guestfs.%s g %s\n" f (mkargs args)
11566   );
11567
11568   pr "  putStrLn \"EOF\"\n"
11569
11570 (* Language-independent bindings tests - we do it this way to
11571  * ensure there is parity in testing bindings across all languages.
11572  *)
11573 and generate_lang_bindtests call =
11574   call "test0" [CallString "abc"; CallOptString (Some "def");
11575                 CallStringList []; CallBool false;
11576                 CallInt 0; CallInt64 0L; CallString "123"; CallString "456";
11577                 CallBuffer "abc\000abc"];
11578   call "test0" [CallString "abc"; CallOptString None;
11579                 CallStringList []; CallBool false;
11580                 CallInt 0; CallInt64 0L; CallString "123"; CallString "456";
11581                 CallBuffer "abc\000abc"];
11582   call "test0" [CallString ""; CallOptString (Some "def");
11583                 CallStringList []; CallBool false;
11584                 CallInt 0; CallInt64 0L; CallString "123"; CallString "456";
11585                 CallBuffer "abc\000abc"];
11586   call "test0" [CallString ""; CallOptString (Some "");
11587                 CallStringList []; CallBool false;
11588                 CallInt 0; CallInt64 0L; CallString "123"; CallString "456";
11589                 CallBuffer "abc\000abc"];
11590   call "test0" [CallString "abc"; CallOptString (Some "def");
11591                 CallStringList ["1"]; CallBool false;
11592                 CallInt 0; CallInt64 0L; CallString "123"; CallString "456";
11593                 CallBuffer "abc\000abc"];
11594   call "test0" [CallString "abc"; CallOptString (Some "def");
11595                 CallStringList ["1"; "2"]; CallBool false;
11596                 CallInt 0; CallInt64 0L; CallString "123"; CallString "456";
11597                 CallBuffer "abc\000abc"];
11598   call "test0" [CallString "abc"; CallOptString (Some "def");
11599                 CallStringList ["1"]; CallBool true;
11600                 CallInt 0; CallInt64 0L; CallString "123"; CallString "456";
11601                 CallBuffer "abc\000abc"];
11602   call "test0" [CallString "abc"; CallOptString (Some "def");
11603                 CallStringList ["1"]; CallBool false;
11604                 CallInt (-1); CallInt64 (-1L); CallString "123"; CallString "456";
11605                 CallBuffer "abc\000abc"];
11606   call "test0" [CallString "abc"; CallOptString (Some "def");
11607                 CallStringList ["1"]; CallBool false;
11608                 CallInt (-2); CallInt64 (-2L); CallString "123"; CallString "456";
11609                 CallBuffer "abc\000abc"];
11610   call "test0" [CallString "abc"; CallOptString (Some "def");
11611                 CallStringList ["1"]; CallBool false;
11612                 CallInt 1; CallInt64 1L; CallString "123"; CallString "456";
11613                 CallBuffer "abc\000abc"];
11614   call "test0" [CallString "abc"; CallOptString (Some "def");
11615                 CallStringList ["1"]; CallBool false;
11616                 CallInt 2; CallInt64 2L; CallString "123"; CallString "456";
11617                 CallBuffer "abc\000abc"];
11618   call "test0" [CallString "abc"; CallOptString (Some "def");
11619                 CallStringList ["1"]; CallBool false;
11620                 CallInt 4095; CallInt64 4095L; CallString "123"; CallString "456";
11621                 CallBuffer "abc\000abc"];
11622   call "test0" [CallString "abc"; CallOptString (Some "def");
11623                 CallStringList ["1"]; CallBool false;
11624                 CallInt 0; CallInt64 0L; CallString ""; CallString "";
11625                 CallBuffer "abc\000abc"]
11626
11627 (* XXX Add here tests of the return and error functions. *)
11628
11629 (* Code to generator bindings for virt-inspector.  Currently only
11630  * implemented for OCaml code (for virt-p2v 2.0).
11631  *)
11632 let rng_input = "inspector/virt-inspector.rng"
11633
11634 (* Read the input file and parse it into internal structures.  This is
11635  * by no means a complete RELAX NG parser, but is just enough to be
11636  * able to parse the specific input file.
11637  *)
11638 type rng =
11639   | Element of string * rng list        (* <element name=name/> *)
11640   | Attribute of string * rng list        (* <attribute name=name/> *)
11641   | Interleave of rng list                (* <interleave/> *)
11642   | ZeroOrMore of rng                        (* <zeroOrMore/> *)
11643   | OneOrMore of rng                        (* <oneOrMore/> *)
11644   | Optional of rng                        (* <optional/> *)
11645   | Choice of string list                (* <choice><value/>*</choice> *)
11646   | Value of string                        (* <value>str</value> *)
11647   | Text                                (* <text/> *)
11648
11649 let rec string_of_rng = function
11650   | Element (name, xs) ->
11651       "Element (\"" ^ name ^ "\", (" ^ string_of_rng_list xs ^ "))"
11652   | Attribute (name, xs) ->
11653       "Attribute (\"" ^ name ^ "\", (" ^ string_of_rng_list xs ^ "))"
11654   | Interleave xs -> "Interleave (" ^ string_of_rng_list xs ^ ")"
11655   | ZeroOrMore rng -> "ZeroOrMore (" ^ string_of_rng rng ^ ")"
11656   | OneOrMore rng -> "OneOrMore (" ^ string_of_rng rng ^ ")"
11657   | Optional rng -> "Optional (" ^ string_of_rng rng ^ ")"
11658   | Choice values -> "Choice [" ^ String.concat ", " values ^ "]"
11659   | Value value -> "Value \"" ^ value ^ "\""
11660   | Text -> "Text"
11661
11662 and string_of_rng_list xs =
11663   String.concat ", " (List.map string_of_rng xs)
11664
11665 let rec parse_rng ?defines context = function
11666   | [] -> []
11667   | Xml.Element ("element", ["name", name], children) :: rest ->
11668       Element (name, parse_rng ?defines context children)
11669       :: parse_rng ?defines context rest
11670   | Xml.Element ("attribute", ["name", name], children) :: rest ->
11671       Attribute (name, parse_rng ?defines context children)
11672       :: parse_rng ?defines context rest
11673   | Xml.Element ("interleave", [], children) :: rest ->
11674       Interleave (parse_rng ?defines context children)
11675       :: parse_rng ?defines context rest
11676   | Xml.Element ("zeroOrMore", [], [child]) :: rest ->
11677       let rng = parse_rng ?defines context [child] in
11678       (match rng with
11679        | [child] -> ZeroOrMore child :: parse_rng ?defines context rest
11680        | _ ->
11681            failwithf "%s: <zeroOrMore> contains more than one child element"
11682              context
11683       )
11684   | Xml.Element ("oneOrMore", [], [child]) :: rest ->
11685       let rng = parse_rng ?defines context [child] in
11686       (match rng with
11687        | [child] -> OneOrMore child :: parse_rng ?defines context rest
11688        | _ ->
11689            failwithf "%s: <oneOrMore> contains more than one child element"
11690              context
11691       )
11692   | Xml.Element ("optional", [], [child]) :: rest ->
11693       let rng = parse_rng ?defines context [child] in
11694       (match rng with
11695        | [child] -> Optional child :: parse_rng ?defines context rest
11696        | _ ->
11697            failwithf "%s: <optional> contains more than one child element"
11698              context
11699       )
11700   | Xml.Element ("choice", [], children) :: rest ->
11701       let values = List.map (
11702         function Xml.Element ("value", [], [Xml.PCData value]) -> value
11703         | _ ->
11704             failwithf "%s: can't handle anything except <value> in <choice>"
11705               context
11706       ) children in
11707       Choice values
11708       :: parse_rng ?defines context rest
11709   | Xml.Element ("value", [], [Xml.PCData value]) :: rest ->
11710       Value value :: parse_rng ?defines context rest
11711   | Xml.Element ("text", [], []) :: rest ->
11712       Text :: parse_rng ?defines context rest
11713   | Xml.Element ("ref", ["name", name], []) :: rest ->
11714       (* Look up the reference.  Because of limitations in this parser,
11715        * we can't handle arbitrarily nested <ref> yet.  You can only
11716        * use <ref> from inside <start>.
11717        *)
11718       (match defines with
11719        | None ->
11720            failwithf "%s: contains <ref>, but no refs are defined yet" context
11721        | Some map ->
11722            let rng = StringMap.find name map in
11723            rng @ parse_rng ?defines context rest
11724       )
11725   | x :: _ ->
11726       failwithf "%s: can't handle '%s' in schema" context (Xml.to_string x)
11727
11728 let grammar =
11729   let xml = Xml.parse_file rng_input in
11730   match xml with
11731   | Xml.Element ("grammar", _,
11732                  Xml.Element ("start", _, gram) :: defines) ->
11733       (* The <define/> elements are referenced in the <start> section,
11734        * so build a map of those first.
11735        *)
11736       let defines = List.fold_left (
11737         fun map ->
11738           function Xml.Element ("define", ["name", name], defn) ->
11739             StringMap.add name defn map
11740           | _ ->
11741               failwithf "%s: expected <define name=name/>" rng_input
11742       ) StringMap.empty defines in
11743       let defines = StringMap.mapi parse_rng defines in
11744
11745       (* Parse the <start> clause, passing the defines. *)
11746       parse_rng ~defines "<start>" gram
11747   | _ ->
11748       failwithf "%s: input is not <grammar><start/><define>*</grammar>"
11749         rng_input
11750
11751 let name_of_field = function
11752   | Element (name, _) | Attribute (name, _)
11753   | ZeroOrMore (Element (name, _))
11754   | OneOrMore (Element (name, _))
11755   | Optional (Element (name, _)) -> name
11756   | Optional (Attribute (name, _)) -> name
11757   | Text -> (* an unnamed field in an element *)
11758       "data"
11759   | rng ->
11760       failwithf "name_of_field failed at: %s" (string_of_rng rng)
11761
11762 (* At the moment this function only generates OCaml types.  However we
11763  * should parameterize it later so it can generate types/structs in a
11764  * variety of languages.
11765  *)
11766 let generate_types xs =
11767   (* A simple type is one that can be printed out directly, eg.
11768    * "string option".  A complex type is one which has a name and has
11769    * to be defined via another toplevel definition, eg. a struct.
11770    *
11771    * generate_type generates code for either simple or complex types.
11772    * In the simple case, it returns the string ("string option").  In
11773    * the complex case, it returns the name ("mountpoint").  In the
11774    * complex case it has to print out the definition before returning,
11775    * so it should only be called when we are at the beginning of a
11776    * new line (BOL context).
11777    *)
11778   let rec generate_type = function
11779     | Text ->                                (* string *)
11780         "string", true
11781     | Choice values ->                        (* [`val1|`val2|...] *)
11782         "[" ^ String.concat "|" (List.map ((^)"`") values) ^ "]", true
11783     | ZeroOrMore rng ->                        (* <rng> list *)
11784         let t, is_simple = generate_type rng in
11785         t ^ " list (* 0 or more *)", is_simple
11786     | OneOrMore rng ->                        (* <rng> list *)
11787         let t, is_simple = generate_type rng in
11788         t ^ " list (* 1 or more *)", is_simple
11789                                         (* virt-inspector hack: bool *)
11790     | Optional (Attribute (name, [Value "1"])) ->
11791         "bool", true
11792     | Optional rng ->                        (* <rng> list *)
11793         let t, is_simple = generate_type rng in
11794         t ^ " option", is_simple
11795                                         (* type name = { fields ... } *)
11796     | Element (name, fields) when is_attrs_interleave fields ->
11797         generate_type_struct name (get_attrs_interleave fields)
11798     | Element (name, [field])                (* type name = field *)
11799     | Attribute (name, [field]) ->
11800         let t, is_simple = generate_type field in
11801         if is_simple then (t, true)
11802         else (
11803           pr "type %s = %s\n" name t;
11804           name, false
11805         )
11806     | Element (name, fields) ->              (* type name = { fields ... } *)
11807         generate_type_struct name fields
11808     | rng ->
11809         failwithf "generate_type failed at: %s" (string_of_rng rng)
11810
11811   and is_attrs_interleave = function
11812     | [Interleave _] -> true
11813     | Attribute _ :: fields -> is_attrs_interleave fields
11814     | Optional (Attribute _) :: fields -> is_attrs_interleave fields
11815     | _ -> false
11816
11817   and get_attrs_interleave = function
11818     | [Interleave fields] -> fields
11819     | ((Attribute _) as field) :: fields
11820     | ((Optional (Attribute _)) as field) :: fields ->
11821         field :: get_attrs_interleave fields
11822     | _ -> assert false
11823
11824   and generate_types xs =
11825     List.iter (fun x -> ignore (generate_type x)) xs
11826
11827   and generate_type_struct name fields =
11828     (* Calculate the types of the fields first.  We have to do this
11829      * before printing anything so we are still in BOL context.
11830      *)
11831     let types = List.map fst (List.map generate_type fields) in
11832
11833     (* Special case of a struct containing just a string and another
11834      * field.  Turn it into an assoc list.
11835      *)
11836     match types with
11837     | ["string"; other] ->
11838         let fname1, fname2 =
11839           match fields with
11840           | [f1; f2] -> name_of_field f1, name_of_field f2
11841           | _ -> assert false in
11842         pr "type %s = string * %s (* %s -> %s *)\n" name other fname1 fname2;
11843         name, false
11844
11845     | types ->
11846         pr "type %s = {\n" name;
11847         List.iter (
11848           fun (field, ftype) ->
11849             let fname = name_of_field field in
11850             pr "  %s_%s : %s;\n" name fname ftype
11851         ) (List.combine fields types);
11852         pr "}\n";
11853         (* Return the name of this type, and
11854          * false because it's not a simple type.
11855          *)
11856         name, false
11857   in
11858
11859   generate_types xs
11860
11861 let generate_parsers xs =
11862   (* As for generate_type above, generate_parser makes a parser for
11863    * some type, and returns the name of the parser it has generated.
11864    * Because it (may) need to print something, it should always be
11865    * called in BOL context.
11866    *)
11867   let rec generate_parser = function
11868     | Text ->                                (* string *)
11869         "string_child_or_empty"
11870     | Choice values ->                        (* [`val1|`val2|...] *)
11871         sprintf "(fun x -> match Xml.pcdata (first_child x) with %s | str -> failwith (\"unexpected field value: \" ^ str))"
11872           (String.concat "|"
11873              (List.map (fun v -> sprintf "%S -> `%s" v v) values))
11874     | ZeroOrMore rng ->                        (* <rng> list *)
11875         let pa = generate_parser rng in
11876         sprintf "(fun x -> List.map %s (Xml.children x))" pa
11877     | OneOrMore rng ->                        (* <rng> list *)
11878         let pa = generate_parser rng in
11879         sprintf "(fun x -> List.map %s (Xml.children x))" pa
11880                                         (* virt-inspector hack: bool *)
11881     | Optional (Attribute (name, [Value "1"])) ->
11882         sprintf "(fun x -> try ignore (Xml.attrib x %S); true with Xml.No_attribute _ -> false)" name
11883     | Optional rng ->                        (* <rng> list *)
11884         let pa = generate_parser rng in
11885         sprintf "(function None -> None | Some x -> Some (%s x))" pa
11886                                         (* type name = { fields ... } *)
11887     | Element (name, fields) when is_attrs_interleave fields ->
11888         generate_parser_struct name (get_attrs_interleave fields)
11889     | Element (name, [field]) ->        (* type name = field *)
11890         let pa = generate_parser field in
11891         let parser_name = sprintf "parse_%s_%d" name (unique ()) in
11892         pr "let %s =\n" parser_name;
11893         pr "  %s\n" pa;
11894         pr "let parse_%s = %s\n" name parser_name;
11895         parser_name
11896     | Attribute (name, [field]) ->
11897         let pa = generate_parser field in
11898         let parser_name = sprintf "parse_%s_%d" name (unique ()) in
11899         pr "let %s =\n" parser_name;
11900         pr "  %s\n" pa;
11901         pr "let parse_%s = %s\n" name parser_name;
11902         parser_name
11903     | Element (name, fields) ->              (* type name = { fields ... } *)
11904         generate_parser_struct name ([], fields)
11905     | rng ->
11906         failwithf "generate_parser failed at: %s" (string_of_rng rng)
11907
11908   and is_attrs_interleave = function
11909     | [Interleave _] -> true
11910     | Attribute _ :: fields -> is_attrs_interleave fields
11911     | Optional (Attribute _) :: fields -> is_attrs_interleave fields
11912     | _ -> false
11913
11914   and get_attrs_interleave = function
11915     | [Interleave fields] -> [], fields
11916     | ((Attribute _) as field) :: fields
11917     | ((Optional (Attribute _)) as field) :: fields ->
11918         let attrs, interleaves = get_attrs_interleave fields in
11919         (field :: attrs), interleaves
11920     | _ -> assert false
11921
11922   and generate_parsers xs =
11923     List.iter (fun x -> ignore (generate_parser x)) xs
11924
11925   and generate_parser_struct name (attrs, interleaves) =
11926     (* Generate parsers for the fields first.  We have to do this
11927      * before printing anything so we are still in BOL context.
11928      *)
11929     let fields = attrs @ interleaves in
11930     let pas = List.map generate_parser fields in
11931
11932     (* Generate an intermediate tuple from all the fields first.
11933      * If the type is just a string + another field, then we will
11934      * return this directly, otherwise it is turned into a record.
11935      *
11936      * RELAX NG note: This code treats <interleave> and plain lists of
11937      * fields the same.  In other words, it doesn't bother enforcing
11938      * any ordering of fields in the XML.
11939      *)
11940     pr "let parse_%s x =\n" name;
11941     pr "  let t = (\n    ";
11942     let comma = ref false in
11943     List.iter (
11944       fun x ->
11945         if !comma then pr ",\n    ";
11946         comma := true;
11947         match x with
11948         | Optional (Attribute (fname, [field])), pa ->
11949             pr "%s x" pa
11950         | Optional (Element (fname, [field])), pa ->
11951             pr "%s (optional_child %S x)" pa fname
11952         | Attribute (fname, [Text]), _ ->
11953             pr "attribute %S x" fname
11954         | (ZeroOrMore _ | OneOrMore _), pa ->
11955             pr "%s x" pa
11956         | Text, pa ->
11957             pr "%s x" pa
11958         | (field, pa) ->
11959             let fname = name_of_field field in
11960             pr "%s (child %S x)" pa fname
11961     ) (List.combine fields pas);
11962     pr "\n  ) in\n";
11963
11964     (match fields with
11965      | [Element (_, [Text]) | Attribute (_, [Text]); _] ->
11966          pr "  t\n"
11967
11968      | _ ->
11969          pr "  (Obj.magic t : %s)\n" name
11970 (*
11971          List.iter (
11972            function
11973            | (Optional (Attribute (fname, [field])), pa) ->
11974                pr "  %s_%s =\n" name fname;
11975                pr "    %s x;\n" pa
11976            | (Optional (Element (fname, [field])), pa) ->
11977                pr "  %s_%s =\n" name fname;
11978                pr "    (let x = optional_child %S x in\n" fname;
11979                pr "     %s x);\n" pa
11980            | (field, pa) ->
11981                let fname = name_of_field field in
11982                pr "  %s_%s =\n" name fname;
11983                pr "    (let x = child %S x in\n" fname;
11984                pr "     %s x);\n" pa
11985          ) (List.combine fields pas);
11986          pr "}\n"
11987 *)
11988     );
11989     sprintf "parse_%s" name
11990   in
11991
11992   generate_parsers xs
11993
11994 (* Generate ocaml/guestfs_inspector.mli. *)
11995 let generate_ocaml_inspector_mli () =
11996   generate_header ~extra_inputs:[rng_input] OCamlStyle LGPLv2plus;
11997
11998   pr "\
11999 (** This is an OCaml language binding to the external [virt-inspector]
12000     program.
12001
12002     For more information, please read the man page [virt-inspector(1)].
12003 *)
12004
12005 ";
12006
12007   generate_types grammar;
12008   pr "(** The nested information returned from the {!inspect} function. *)\n";
12009   pr "\n";
12010
12011   pr "\
12012 val inspect : ?connect:string -> ?xml:string -> string list -> operatingsystems
12013 (** To inspect a libvirt domain called [name], pass a singleton
12014     list: [inspect [name]].  When using libvirt only, you may
12015     optionally pass a libvirt URI using [inspect ~connect:uri ...].
12016
12017     To inspect a disk image or images, pass a list of the filenames
12018     of the disk images: [inspect filenames]
12019
12020     This function inspects the given guest or disk images and
12021     returns a list of operating system(s) found and a large amount
12022     of information about them.  In the vast majority of cases,
12023     a virtual machine only contains a single operating system.
12024
12025     If the optional [~xml] parameter is given, then this function
12026     skips running the external virt-inspector program and just
12027     parses the given XML directly (which is expected to be XML
12028     produced from a previous run of virt-inspector).  The list of
12029     names and connect URI are ignored in this case.
12030
12031     This function can throw a wide variety of exceptions, for example
12032     if the external virt-inspector program cannot be found, or if
12033     it doesn't generate valid XML.
12034 *)
12035 "
12036
12037 (* Generate ocaml/guestfs_inspector.ml. *)
12038 let generate_ocaml_inspector_ml () =
12039   generate_header ~extra_inputs:[rng_input] OCamlStyle LGPLv2plus;
12040
12041   pr "open Unix\n";
12042   pr "\n";
12043
12044   generate_types grammar;
12045   pr "\n";
12046
12047   pr "\
12048 (* Misc functions which are used by the parser code below. *)
12049 let first_child = function
12050   | Xml.Element (_, _, c::_) -> c
12051   | Xml.Element (name, _, []) ->
12052       failwith (\"expected <\" ^ name ^ \"/> to have a child node\")
12053   | Xml.PCData str ->
12054       failwith (\"expected XML tag, but read PCDATA '\" ^ str ^ \"' instead\")
12055
12056 let string_child_or_empty = function
12057   | Xml.Element (_, _, [Xml.PCData s]) -> s
12058   | Xml.Element (_, _, []) -> \"\"
12059   | Xml.Element (x, _, _) ->
12060       failwith (\"expected XML tag with a single PCDATA child, but got \" ^
12061                 x ^ \" instead\")
12062   | Xml.PCData str ->
12063       failwith (\"expected XML tag, but read PCDATA '\" ^ str ^ \"' instead\")
12064
12065 let optional_child name xml =
12066   let children = Xml.children xml in
12067   try
12068     Some (List.find (function
12069                      | Xml.Element (n, _, _) when n = name -> true
12070                      | _ -> false) children)
12071   with
12072     Not_found -> None
12073
12074 let child name xml =
12075   match optional_child name xml with
12076   | Some c -> c
12077   | None ->
12078       failwith (\"mandatory field <\" ^ name ^ \"/> missing in XML output\")
12079
12080 let attribute name xml =
12081   try Xml.attrib xml name
12082   with Xml.No_attribute _ ->
12083     failwith (\"mandatory attribute \" ^ name ^ \" missing in XML output\")
12084
12085 ";
12086
12087   generate_parsers grammar;
12088   pr "\n";
12089
12090   pr "\
12091 (* Run external virt-inspector, then use parser to parse the XML. *)
12092 let inspect ?connect ?xml names =
12093   let xml =
12094     match xml with
12095     | None ->
12096         if names = [] then invalid_arg \"inspect: no names given\";
12097         let cmd = [ \"virt-inspector\"; \"--xml\" ] @
12098           (match connect with None -> [] | Some uri -> [ \"--connect\"; uri ]) @
12099           names in
12100         let cmd = List.map Filename.quote cmd in
12101         let cmd = String.concat \" \" cmd in
12102         let chan = open_process_in cmd in
12103         let xml = Xml.parse_in chan in
12104         (match close_process_in chan with
12105          | WEXITED 0 -> ()
12106          | WEXITED _ -> failwith \"external virt-inspector command failed\"
12107          | WSIGNALED i | WSTOPPED i ->
12108              failwith (\"external virt-inspector command died or stopped on sig \" ^
12109                        string_of_int i)
12110         );
12111         xml
12112     | Some doc ->
12113         Xml.parse_string doc in
12114   parse_operatingsystems xml
12115 "
12116
12117 and generate_max_proc_nr () =
12118   pr "%d\n" max_proc_nr
12119
12120 let output_to filename k =
12121   let filename_new = filename ^ ".new" in
12122   chan := open_out filename_new;
12123   k ();
12124   close_out !chan;
12125   chan := Pervasives.stdout;
12126
12127   (* Is the new file different from the current file? *)
12128   if Sys.file_exists filename && files_equal filename filename_new then
12129     unlink filename_new                 (* same, so skip it *)
12130   else (
12131     (* different, overwrite old one *)
12132     (try chmod filename 0o644 with Unix_error _ -> ());
12133     rename filename_new filename;
12134     chmod filename 0o444;
12135     printf "written %s\n%!" filename;
12136   )
12137
12138 let perror msg = function
12139   | Unix_error (err, _, _) ->
12140       eprintf "%s: %s\n" msg (error_message err)
12141   | exn ->
12142       eprintf "%s: %s\n" msg (Printexc.to_string exn)
12143
12144 (* Main program. *)
12145 let () =
12146   let lock_fd =
12147     try openfile "HACKING" [O_RDWR] 0
12148     with
12149     | Unix_error (ENOENT, _, _) ->
12150         eprintf "\
12151 You are probably running this from the wrong directory.
12152 Run it from the top source directory using the command
12153   src/generator.ml
12154 ";
12155         exit 1
12156     | exn ->
12157         perror "open: HACKING" exn;
12158         exit 1 in
12159
12160   (* Acquire a lock so parallel builds won't try to run the generator
12161    * twice at the same time.  Subsequent builds will wait for the first
12162    * one to finish.  Note the lock is released implicitly when the
12163    * program exits.
12164    *)
12165   (try lockf lock_fd F_LOCK 1
12166    with exn ->
12167      perror "lock: HACKING" exn;
12168      exit 1);
12169
12170   check_functions ();
12171
12172   output_to "src/guestfs_protocol.x" generate_xdr;
12173   output_to "src/guestfs-structs.h" generate_structs_h;
12174   output_to "src/guestfs-actions.h" generate_actions_h;
12175   output_to "src/guestfs-internal-actions.h" generate_internal_actions_h;
12176   output_to "src/guestfs-actions.c" generate_client_actions;
12177   output_to "src/guestfs-bindtests.c" generate_bindtests;
12178   output_to "src/guestfs-structs.pod" generate_structs_pod;
12179   output_to "src/guestfs-actions.pod" generate_actions_pod;
12180   output_to "src/guestfs-availability.pod" generate_availability_pod;
12181   output_to "src/MAX_PROC_NR" generate_max_proc_nr;
12182   output_to "src/libguestfs.syms" generate_linker_script;
12183   output_to "daemon/actions.h" generate_daemon_actions_h;
12184   output_to "daemon/stubs.c" generate_daemon_actions;
12185   output_to "daemon/names.c" generate_daemon_names;
12186   output_to "daemon/optgroups.c" generate_daemon_optgroups_c;
12187   output_to "daemon/optgroups.h" generate_daemon_optgroups_h;
12188   output_to "capitests/tests.c" generate_tests;
12189   output_to "fish/cmds.c" generate_fish_cmds;
12190   output_to "fish/completion.c" generate_fish_completion;
12191   output_to "fish/guestfish-actions.pod" generate_fish_actions_pod;
12192   output_to "ocaml/guestfs.mli" generate_ocaml_mli;
12193   output_to "ocaml/guestfs.ml" generate_ocaml_ml;
12194   output_to "ocaml/guestfs_c_actions.c" generate_ocaml_c;
12195   output_to "ocaml/bindtests.ml" generate_ocaml_bindtests;
12196   output_to "ocaml/guestfs_inspector.mli" generate_ocaml_inspector_mli;
12197   output_to "ocaml/guestfs_inspector.ml" generate_ocaml_inspector_ml;
12198   output_to "perl/Guestfs.xs" generate_perl_xs;
12199   output_to "perl/lib/Sys/Guestfs.pm" generate_perl_pm;
12200   output_to "perl/bindtests.pl" generate_perl_bindtests;
12201   output_to "python/guestfs-py.c" generate_python_c;
12202   output_to "python/guestfs.py" generate_python_py;
12203   output_to "python/bindtests.py" generate_python_bindtests;
12204   output_to "ruby/ext/guestfs/_guestfs.c" generate_ruby_c;
12205   output_to "ruby/bindtests.rb" generate_ruby_bindtests;
12206   output_to "java/com/redhat/et/libguestfs/GuestFS.java" generate_java_java;
12207
12208   List.iter (
12209     fun (typ, jtyp) ->
12210       let cols = cols_of_struct typ in
12211       let filename = sprintf "java/com/redhat/et/libguestfs/%s.java" jtyp in
12212       output_to filename (generate_java_struct jtyp cols);
12213   ) java_structs;
12214
12215   output_to "java/Makefile.inc" generate_java_makefile_inc;
12216   output_to "java/com_redhat_et_libguestfs_GuestFS.c" generate_java_c;
12217   output_to "java/Bindtests.java" generate_java_bindtests;
12218   output_to "haskell/Guestfs.hs" generate_haskell_hs;
12219   output_to "haskell/Bindtests.hs" generate_haskell_bindtests;
12220   output_to "csharp/Libguestfs.cs" generate_csharp;
12221
12222   (* Always generate this file last, and unconditionally.  It's used
12223    * by the Makefile to know when we must re-run the generator.
12224    *)
12225   let chan = open_out "src/stamp-generator" in
12226   fprintf chan "1\n";
12227   close_out chan;
12228
12229   printf "generated %d lines of code\n" !lines