1a47363d5f14e3e3aafd05c9ba6eb20c962019f7
[libguestfs.git] / src / launch.c
1 /* libguestfs
2  * Copyright (C) 2009-2011 Red Hat Inc.
3  *
4  * This library is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Lesser General Public
6  * License as published by the Free Software Foundation; either
7  * version 2 of the License, or (at your option) any later version.
8  *
9  * This library is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Lesser General Public License for more details.
13  *
14  * You should have received a copy of the GNU Lesser General Public
15  * License along with this library; if not, write to the Free Software
16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17  */
18
19 #include <config.h>
20
21 #define _BSD_SOURCE /* for mkdtemp, usleep */
22
23 #include <stdio.h>
24 #include <stdlib.h>
25 #include <stdarg.h>
26 #include <stddef.h>
27 #include <stdint.h>
28 #include <inttypes.h>
29 #include <unistd.h>
30 #include <string.h>
31 #include <fcntl.h>
32 #include <time.h>
33 #include <sys/stat.h>
34 #include <sys/select.h>
35 #include <dirent.h>
36 #include <signal.h>
37 #include <assert.h>
38
39 #include <rpc/types.h>
40 #include <rpc/xdr.h>
41
42 #ifdef HAVE_ERRNO_H
43 #include <errno.h>
44 #endif
45
46 #ifdef HAVE_SYS_TYPES_H
47 #include <sys/types.h>
48 #endif
49
50 #ifdef HAVE_SYS_WAIT_H
51 #include <sys/wait.h>
52 #endif
53
54 #ifdef HAVE_SYS_SOCKET_H
55 #include <sys/socket.h>
56 #endif
57
58 #ifdef HAVE_SYS_UN_H
59 #include <sys/un.h>
60 #endif
61
62 #include <arpa/inet.h>
63 #include <netinet/in.h>
64
65 #include "c-ctype.h"
66 #include "glthread/lock.h"
67
68 #include "guestfs.h"
69 #include "guestfs-internal.h"
70 #include "guestfs-internal-actions.h"
71 #include "guestfs_protocol.h"
72
73 static int launch_appliance (guestfs_h *g);
74 static int64_t timeval_diff (const struct timeval *x, const struct timeval *y);
75 static int connect_unix_socket (guestfs_h *g, const char *sock);
76 static int qemu_supports (guestfs_h *g, const char *option);
77
78 /* Add a string to the current command line. */
79 static void
80 incr_cmdline_size (guestfs_h *g)
81 {
82   if (g->cmdline == NULL) {
83     /* g->cmdline[0] is reserved for argv[0], set in guestfs_launch. */
84     g->cmdline_size = 1;
85     g->cmdline = safe_malloc (g, sizeof (char *));
86     g->cmdline[0] = NULL;
87   }
88
89   g->cmdline_size++;
90   g->cmdline = safe_realloc (g, g->cmdline, sizeof (char *) * g->cmdline_size);
91 }
92
93 static int
94 add_cmdline (guestfs_h *g, const char *str)
95 {
96   if (g->state != CONFIG) {
97     error (g,
98         _("command line cannot be altered after qemu subprocess launched"));
99     return -1;
100   }
101
102   incr_cmdline_size (g);
103   g->cmdline[g->cmdline_size-1] = safe_strdup (g, str);
104   return 0;
105 }
106
107 size_t
108 guestfs___checkpoint_cmdline (guestfs_h *g)
109 {
110   return g->cmdline_size;
111 }
112
113 void
114 guestfs___rollback_cmdline (guestfs_h *g, size_t pos)
115 {
116   size_t i;
117
118   assert (g->cmdline_size >= pos);
119
120   for (i = pos; i < g->cmdline_size; ++i)
121     free (g->cmdline[i]);
122
123   g->cmdline_size = pos;
124 }
125
126 /* Internal command to return the command line. */
127 char **
128 guestfs__debug_cmdline (guestfs_h *g)
129 {
130   size_t i;
131   char **r;
132
133   if (g->cmdline == NULL) {
134     r = safe_malloc (g, sizeof (char *) * 1);
135     r[0] = NULL;
136     return r;
137   }
138
139   r = safe_malloc (g, sizeof (char *) * (g->cmdline_size + 1));
140   r[0] = safe_strdup (g, g->qemu); /* g->cmdline[0] is always NULL */
141
142   for (i = 1; i < g->cmdline_size; ++i)
143     r[i] = safe_strdup (g, g->cmdline[i]);
144
145   r[g->cmdline_size] = NULL;
146
147   return r;                     /* caller frees */
148 }
149
150 int
151 guestfs__config (guestfs_h *g,
152                  const char *qemu_param, const char *qemu_value)
153 {
154   if (qemu_param[0] != '-') {
155     error (g, _("guestfs_config: parameter must begin with '-' character"));
156     return -1;
157   }
158
159   /* A bit fascist, but the user will probably break the extra
160    * parameters that we add if they try to set any of these.
161    */
162   if (STREQ (qemu_param, "-kernel") ||
163       STREQ (qemu_param, "-initrd") ||
164       STREQ (qemu_param, "-nographic") ||
165       STREQ (qemu_param, "-serial") ||
166       STREQ (qemu_param, "-full-screen") ||
167       STREQ (qemu_param, "-std-vga") ||
168       STREQ (qemu_param, "-vnc")) {
169     error (g, _("guestfs_config: parameter '%s' isn't allowed"), qemu_param);
170     return -1;
171   }
172
173   if (add_cmdline (g, qemu_param) != 0) return -1;
174
175   if (qemu_value != NULL) {
176     if (add_cmdline (g, qemu_value) != 0) return -1;
177   }
178
179   return 0;
180 }
181
182 /* cache=off improves reliability in the event of a host crash.
183  *
184  * However this option causes qemu to try to open the file with
185  * O_DIRECT.  This fails on some filesystem types (notably tmpfs).
186  * So we check if we can open the file with or without O_DIRECT,
187  * and use cache=off (or not) accordingly.
188  */
189 static int
190 test_cache_off (guestfs_h *g, const char *filename)
191 {
192   int fd = open (filename, O_RDONLY|O_DIRECT);
193   if (fd >= 0) {
194     close (fd);
195     return 1;
196   }
197
198   fd = open (filename, O_RDONLY);
199   if (fd >= 0) {
200     close (fd);
201     return 0;
202   }
203
204   perrorf (g, "%s", filename);
205   return -1;
206 }
207
208 /* Check string parameter matches ^[-_[:alnum:]]+$ (in C locale). */
209 static int
210 valid_format_iface (const char *str)
211 {
212   size_t len = strlen (str);
213
214   if (len == 0)
215     return 0;
216
217   while (len > 0) {
218     char c = *str++;
219     len--;
220     if (c != '-' && c != '_' && !c_isalnum (c))
221       return 0;
222   }
223   return 1;
224 }
225
226 int
227 guestfs__add_drive_opts (guestfs_h *g, const char *filename,
228                          const struct guestfs_add_drive_opts_argv *optargs)
229 {
230   int readonly;
231   const char *format;
232   const char *iface;
233
234   if (strchr (filename, ',') != NULL) {
235     error (g, _("filename cannot contain ',' (comma) character"));
236     return -1;
237   }
238
239   readonly = optargs->bitmask & GUESTFS_ADD_DRIVE_OPTS_READONLY_BITMASK
240              ? optargs->readonly : 0;
241   format = optargs->bitmask & GUESTFS_ADD_DRIVE_OPTS_FORMAT_BITMASK
242            ? optargs->format : NULL;
243   iface = optargs->bitmask & GUESTFS_ADD_DRIVE_OPTS_IFACE_BITMASK
244           ? optargs->iface : DRIVE_IF;
245
246   if (format && !valid_format_iface (format)) {
247     error (g, _("%s parameter is empty or contains disallowed characters"),
248            "format");
249     return -1;
250   }
251   if (!valid_format_iface (iface)) {
252     error (g, _("%s parameter is empty or contains disallowed characters"),
253            "iface");
254     return -1;
255   }
256
257   /* For writable files, see if we can use cache=off.  This also
258    * checks for the existence of the file.  For readonly we have
259    * to do the check explicitly.
260    */
261   int use_cache_off = readonly ? 0 : test_cache_off (g, filename);
262   if (use_cache_off == -1)
263     return -1;
264
265   if (readonly) {
266     if (access (filename, F_OK) == -1) {
267       perrorf (g, "%s", filename);
268       return -1;
269     }
270   }
271
272   /* Construct the final -drive parameter. */
273   size_t len = 64 + strlen (filename) + strlen (iface);
274   if (format) len += strlen (format);
275   char buf[len];
276
277   snprintf (buf, len, "file=%s%s%s%s%s,if=%s",
278             filename,
279             readonly ? ",snapshot=on" : "",
280             use_cache_off ? ",cache=off" : "",
281             format ? ",format=" : "",
282             format ? format : "",
283             iface);
284
285   return guestfs__config (g, "-drive", buf);
286 }
287
288 int
289 guestfs__add_drive (guestfs_h *g, const char *filename)
290 {
291   struct guestfs_add_drive_opts_argv optargs = {
292     .bitmask = 0,
293   };
294
295   return guestfs__add_drive_opts (g, filename, &optargs);
296 }
297
298 int
299 guestfs__add_drive_ro (guestfs_h *g, const char *filename)
300 {
301   struct guestfs_add_drive_opts_argv optargs = {
302     .bitmask = GUESTFS_ADD_DRIVE_OPTS_READONLY_BITMASK,
303     .readonly = 1,
304   };
305
306   return guestfs__add_drive_opts (g, filename, &optargs);
307 }
308
309 int
310 guestfs__add_drive_with_if (guestfs_h *g, const char *filename,
311                             const char *iface)
312 {
313   struct guestfs_add_drive_opts_argv optargs = {
314     .bitmask = GUESTFS_ADD_DRIVE_OPTS_IFACE_BITMASK,
315     .iface = iface,
316   };
317
318   return guestfs__add_drive_opts (g, filename, &optargs);
319 }
320
321 int
322 guestfs__add_drive_ro_with_if (guestfs_h *g, const char *filename,
323                                const char *iface)
324 {
325   struct guestfs_add_drive_opts_argv optargs = {
326     .bitmask = GUESTFS_ADD_DRIVE_OPTS_IFACE_BITMASK
327              | GUESTFS_ADD_DRIVE_OPTS_READONLY_BITMASK,
328     .iface = iface,
329     .readonly = 1,
330   };
331
332   return guestfs__add_drive_opts (g, filename, &optargs);
333 }
334
335 int
336 guestfs__add_cdrom (guestfs_h *g, const char *filename)
337 {
338   if (strchr (filename, ',') != NULL) {
339     error (g, _("filename cannot contain ',' (comma) character"));
340     return -1;
341   }
342
343   if (access (filename, F_OK) == -1) {
344     perrorf (g, "%s", filename);
345     return -1;
346   }
347
348   return guestfs__config (g, "-cdrom", filename);
349 }
350
351 static int is_openable (guestfs_h *g, const char *path, int flags);
352
353 int
354 guestfs__launch (guestfs_h *g)
355 {
356   /* Configured? */
357   if (g->state != CONFIG) {
358     error (g, _("the libguestfs handle has already been launched"));
359     return -1;
360   }
361
362   /* Make the temporary directory. */
363   if (!g->tmpdir) {
364     TMP_TEMPLATE_ON_STACK (dir_template);
365     g->tmpdir = safe_strdup (g, dir_template);
366     if (mkdtemp (g->tmpdir) == NULL) {
367       perrorf (g, _("%s: cannot create temporary directory"), dir_template);
368       return -1;
369     }
370   }
371
372   /* Allow anyone to read the temporary directory.  The socket in this
373    * directory won't be readable but anyone can see it exists if they
374    * want. (RHBZ#610880).
375    */
376   if (chmod (g->tmpdir, 0755) == -1)
377     warning (g, "chmod: %s: %m (ignored)", g->tmpdir);
378
379   /* Launch the appliance or attach to an existing daemon. */
380   switch (g->attach_method) {
381   case ATTACH_METHOD_APPLIANCE:
382     return launch_appliance (g);
383
384   case ATTACH_METHOD_UNIX:
385     return connect_unix_socket (g, g->attach_method_arg);
386
387   default:
388     abort ();
389   }
390 }
391
392 static int
393 launch_appliance (guestfs_h *g)
394 {
395   int r;
396   int wfd[2], rfd[2];
397   char guestfsd_sock[256];
398   struct sockaddr_un addr;
399
400   /* At present you must add drives before starting the appliance.  In
401    * future when we enable hotplugging you won't need to do this.
402    */
403   if (!g->cmdline) {
404     error (g, _("you must call guestfs_add_drive before guestfs_launch"));
405     return -1;
406   }
407
408   /* Start the clock ... */
409   gettimeofday (&g->launch_t, NULL);
410   guestfs___launch_send_progress (g, 0);
411
412   /* Locate and/or build the appliance. */
413   char *kernel = NULL, *initrd = NULL, *appliance = NULL;
414   if (guestfs___build_appliance (g, &kernel, &initrd, &appliance) == -1)
415     return -1;
416
417   guestfs___launch_send_progress (g, 3);
418
419   if (g->verbose)
420     guestfs___print_timestamped_message (g, "begin testing qemu features");
421
422   /* Get qemu help text and version. */
423   if (qemu_supports (g, NULL) == -1)
424     goto cleanup0;
425
426   /* Using virtio-serial, we need to create a local Unix domain socket
427    * for qemu to connect to.
428    */
429   snprintf (guestfsd_sock, sizeof guestfsd_sock, "%s/guestfsd.sock", g->tmpdir);
430   unlink (guestfsd_sock);
431
432   g->sock = socket (AF_UNIX, SOCK_STREAM, 0);
433   if (g->sock == -1) {
434     perrorf (g, "socket");
435     goto cleanup0;
436   }
437
438   if (fcntl (g->sock, F_SETFL, O_NONBLOCK) == -1) {
439     perrorf (g, "fcntl");
440     goto cleanup0;
441   }
442
443   addr.sun_family = AF_UNIX;
444   strncpy (addr.sun_path, guestfsd_sock, UNIX_PATH_MAX);
445   addr.sun_path[UNIX_PATH_MAX-1] = '\0';
446
447   if (bind (g->sock, &addr, sizeof addr) == -1) {
448     perrorf (g, "bind");
449     goto cleanup0;
450   }
451
452   if (listen (g->sock, 1) == -1) {
453     perrorf (g, "listen");
454     goto cleanup0;
455   }
456
457   if (!g->direct) {
458     if (pipe (wfd) == -1 || pipe (rfd) == -1) {
459       perrorf (g, "pipe");
460       goto cleanup0;
461     }
462   }
463
464   if (g->verbose)
465     guestfs___print_timestamped_message (g, "finished testing qemu features");
466
467   r = fork ();
468   if (r == -1) {
469     perrorf (g, "fork");
470     if (!g->direct) {
471       close (wfd[0]);
472       close (wfd[1]);
473       close (rfd[0]);
474       close (rfd[1]);
475     }
476     goto cleanup0;
477   }
478
479   if (r == 0) {                 /* Child (qemu). */
480     char buf[256];
481
482     /* Set up the full command line.  Do this in the subprocess so we
483      * don't need to worry about cleaning up.
484      */
485     g->cmdline[0] = g->qemu;
486
487     if (qemu_supports (g, "-nodefconfig"))
488       add_cmdline (g, "-nodefconfig");
489
490     /* The qemu -machine option (added 2010-12) is a bit more sane
491      * since it falls back through various different acceleration
492      * modes, so try that first (thanks Markus Armbruster).
493      */
494     if (qemu_supports (g, "-machine")) {
495       add_cmdline (g, "-machine");
496       add_cmdline (g, "accel=kvm:tcg");
497     } else {
498       /* qemu sometimes needs this option to enable hardware
499        * virtualization, but some versions of 'qemu-kvm' will use KVM
500        * regardless (even where this option appears in the help text).
501        * It is rumoured that there are versions of qemu where supplying
502        * this option when hardware virtualization is not available will
503        * cause qemu to fail, so we we have to check at least that
504        * /dev/kvm is openable.  That's not reliable, since /dev/kvm
505        * might be openable by qemu but not by us (think: SELinux) in
506        * which case the user would not get hardware virtualization,
507        * although at least shouldn't fail.  A giant clusterfuck with the
508        * qemu command line, again.
509        */
510       if (qemu_supports (g, "-enable-kvm") &&
511           is_openable (g, "/dev/kvm", O_RDWR))
512         add_cmdline (g, "-enable-kvm");
513     }
514
515     /* Newer versions of qemu (from around 2009/12) changed the
516      * behaviour of monitors so that an implicit '-monitor stdio' is
517      * assumed if we are in -nographic mode and there is no other
518      * -monitor option.  Only a single stdio device is allowed, so
519      * this broke the '-serial stdio' option.  There is a new flag
520      * called -nodefaults which gets rid of all this default crud, so
521      * let's use that to avoid this and any future surprises.
522      */
523     if (qemu_supports (g, "-nodefaults"))
524       add_cmdline (g, "-nodefaults");
525
526     add_cmdline (g, "-nographic");
527
528     snprintf (buf, sizeof buf, "%d", g->memsize);
529     add_cmdline (g, "-m");
530     add_cmdline (g, buf);
531
532     /* Force exit instead of reboot on panic */
533     add_cmdline (g, "-no-reboot");
534
535     /* These options recommended by KVM developers to improve reliability. */
536     if (qemu_supports (g, "-no-hpet"))
537       add_cmdline (g, "-no-hpet");
538
539     if (qemu_supports (g, "-rtc-td-hack"))
540       add_cmdline (g, "-rtc-td-hack");
541
542     /* Create the virtio serial bus. */
543     add_cmdline (g, "-device");
544     add_cmdline (g, "virtio-serial");
545
546 #if 0
547     /* Use virtio-console (a variant form of virtio-serial) for the
548      * guest's serial console.
549      */
550     add_cmdline (g, "-chardev");
551     add_cmdline (g, "stdio,id=console");
552     add_cmdline (g, "-device");
553     add_cmdline (g, "virtconsole,chardev=console,name=org.libguestfs.console.0");
554 #else
555     /* When the above works ...  until then: */
556     add_cmdline (g, "-serial");
557     add_cmdline (g, "stdio");
558 #endif
559
560     /* Set up virtio-serial for the communications channel. */
561     add_cmdline (g, "-chardev");
562     snprintf (buf, sizeof buf, "socket,path=%s,id=channel0", guestfsd_sock);
563     add_cmdline (g, buf);
564     add_cmdline (g, "-device");
565     add_cmdline (g, "virtserialport,chardev=channel0,name=org.libguestfs.channel.0");
566
567     /* Enable user networking. */
568     if (g->enable_network) {
569       add_cmdline (g, "-netdev");
570       add_cmdline (g, "user,id=usernet,net=169.254.0.0/16");
571       add_cmdline (g, "-device");
572       add_cmdline (g, NET_IF ",netdev=usernet");
573     }
574
575 #define LINUX_CMDLINE                                                   \
576     "panic=1 "         /* force kernel to panic if daemon exits */      \
577     "console=ttyS0 "   /* serial console */                             \
578     "udevtimeout=300 " /* good for very slow systems (RHBZ#480319) */   \
579     "noapic "          /* workaround for RHBZ#502058 - ok if not SMP */ \
580     "acpi=off "        /* we don't need ACPI, turn it off */            \
581     "printk.time=1 "   /* display timestamp before kernel messages */   \
582     "cgroup_disable=memory " /* saves us about 5 MB of RAM */
583
584     /* Linux kernel command line. */
585     snprintf (buf, sizeof buf,
586               LINUX_CMDLINE
587               "%s "             /* (selinux) */
588               "%s "             /* (verbose) */
589               "TERM=%s "        /* (TERM environment variable) */
590               "%s",             /* (append) */
591               g->selinux ? "selinux=1 enforcing=0" : "selinux=0",
592               g->verbose ? "guestfs_verbose=1" : "",
593               getenv ("TERM") ? : "linux",
594               g->append ? g->append : "");
595
596     add_cmdline (g, "-kernel");
597     add_cmdline (g, kernel);
598     add_cmdline (g, "-initrd");
599     add_cmdline (g, initrd);
600     add_cmdline (g, "-append");
601     add_cmdline (g, buf);
602
603     /* Add the ext2 appliance drive (last of all). */
604     if (appliance) {
605       const char *cachemode = "";
606       if (qemu_supports (g, "cache=")) {
607         if (qemu_supports (g, "unsafe"))
608           cachemode = ",cache=unsafe";
609         else if (qemu_supports (g, "writeback"))
610           cachemode = ",cache=writeback";
611       }
612
613       char buf2[PATH_MAX + 64];
614       add_cmdline (g, "-drive");
615       snprintf (buf2, sizeof buf2, "file=%s,snapshot=on,if=" DRIVE_IF "%s",
616                 appliance, cachemode);
617       add_cmdline (g, buf2);
618     }
619
620     /* Finish off the command line. */
621     incr_cmdline_size (g);
622     g->cmdline[g->cmdline_size-1] = NULL;
623
624     if (g->verbose)
625       guestfs___print_timestamped_argv (g, (const char **)g->cmdline);
626
627     if (!g->direct) {
628       /* Set up stdin, stdout. */
629       close (0);
630       close (1);
631       close (wfd[1]);
632       close (rfd[0]);
633
634       if (dup (wfd[0]) == -1) {
635       dup_failed:
636         perror ("dup failed");
637         _exit (EXIT_FAILURE);
638       }
639       if (dup (rfd[1]) == -1)
640         goto dup_failed;
641
642       close (wfd[0]);
643       close (rfd[1]);
644     }
645
646     /* Put qemu in a new process group. */
647     if (g->pgroup)
648       setpgid (0, 0);
649
650     setenv ("LC_ALL", "C", 1);
651
652     execv (g->qemu, g->cmdline); /* Run qemu. */
653     perror (g->qemu);
654     _exit (EXIT_FAILURE);
655   }
656
657   /* Parent (library). */
658   g->pid = r;
659
660   free (kernel);
661   kernel = NULL;
662   free (initrd);
663   initrd = NULL;
664   free (appliance);
665   appliance = NULL;
666
667   /* Fork the recovery process off which will kill qemu if the parent
668    * process fails to do so (eg. if the parent segfaults).
669    */
670   g->recoverypid = -1;
671   if (g->recovery_proc) {
672     r = fork ();
673     if (r == 0) {
674       pid_t qemu_pid = g->pid;
675       pid_t parent_pid = getppid ();
676
677       /* It would be nice to be able to put this in the same process
678        * group as qemu (ie. setpgid (0, qemu_pid)).  However this is
679        * not possible because we don't have any guarantee here that
680        * the qemu process has started yet.
681        */
682       if (g->pgroup)
683         setpgid (0, 0);
684
685       /* Writing to argv is hideously complicated and error prone.  See:
686        * http://anoncvs.postgresql.org/cvsweb.cgi/pgsql/src/backend/utils/misc/ps_status.c?rev=1.33.2.1;content-type=text%2Fplain
687        */
688
689       /* Loop around waiting for one or both of the other processes to
690        * disappear.  It's fair to say this is very hairy.  The PIDs that
691        * we are looking at might be reused by another process.  We are
692        * effectively polling.  Is the cure worse than the disease?
693        */
694       for (;;) {
695         if (kill (qemu_pid, 0) == -1) /* qemu's gone away, we aren't needed */
696           _exit (EXIT_SUCCESS);
697         if (kill (parent_pid, 0) == -1) {
698           /* Parent's gone away, qemu still around, so kill qemu. */
699           kill (qemu_pid, 9);
700           _exit (EXIT_SUCCESS);
701         }
702         sleep (2);
703       }
704     }
705
706     /* Don't worry, if the fork failed, this will be -1.  The recovery
707      * process isn't essential.
708      */
709     g->recoverypid = r;
710   }
711
712   if (!g->direct) {
713     /* Close the other ends of the pipe. */
714     close (wfd[0]);
715     close (rfd[1]);
716
717     if (fcntl (wfd[1], F_SETFL, O_NONBLOCK) == -1 ||
718         fcntl (rfd[0], F_SETFL, O_NONBLOCK) == -1) {
719       perrorf (g, "fcntl");
720       goto cleanup1;
721     }
722
723     g->fd[0] = wfd[1];          /* stdin of child */
724     g->fd[1] = rfd[0];          /* stdout of child */
725   } else {
726     g->fd[0] = open ("/dev/null", O_RDWR);
727     if (g->fd[0] == -1) {
728       perrorf (g, "open /dev/null");
729       goto cleanup1;
730     }
731     g->fd[1] = dup (g->fd[0]);
732     if (g->fd[1] == -1) {
733       perrorf (g, "dup");
734       close (g->fd[0]);
735       goto cleanup1;
736     }
737   }
738
739   g->state = LAUNCHING;
740
741   /* Wait for qemu to start and to connect back to us via
742    * virtio-serial and send the GUESTFS_LAUNCH_FLAG message.
743    */
744   r = guestfs___accept_from_daemon (g);
745   if (r == -1)
746     goto cleanup1;
747
748   close (g->sock); /* Close the listening socket. */
749   g->sock = r; /* This is the accepted data socket. */
750
751   if (fcntl (g->sock, F_SETFL, O_NONBLOCK) == -1) {
752     perrorf (g, "fcntl");
753     goto cleanup1;
754   }
755
756   uint32_t size;
757   void *buf = NULL;
758   r = guestfs___recv_from_daemon (g, &size, &buf);
759   free (buf);
760
761   if (r == -1) return -1;
762
763   if (size != GUESTFS_LAUNCH_FLAG) {
764     error (g, _("guestfs_launch failed, see earlier error messages"));
765     goto cleanup1;
766   }
767
768   if (g->verbose)
769     guestfs___print_timestamped_message (g, "appliance is up");
770
771   /* This is possible in some really strange situations, such as
772    * guestfsd starts up OK but then qemu immediately exits.  Check for
773    * it because the caller is probably expecting to be able to send
774    * commands after this function returns.
775    */
776   if (g->state != READY) {
777     error (g, _("qemu launched and contacted daemon, but state != READY"));
778     goto cleanup1;
779   }
780
781   guestfs___launch_send_progress (g, 12);
782
783   return 0;
784
785  cleanup1:
786   if (!g->direct) {
787     close (wfd[1]);
788     close (rfd[0]);
789   }
790   if (g->pid > 0) kill (g->pid, 9);
791   if (g->recoverypid > 0) kill (g->recoverypid, 9);
792   if (g->pid > 0) waitpid (g->pid, NULL, 0);
793   if (g->recoverypid > 0) waitpid (g->recoverypid, NULL, 0);
794   g->fd[0] = -1;
795   g->fd[1] = -1;
796   g->pid = 0;
797   g->recoverypid = 0;
798   memset (&g->launch_t, 0, sizeof g->launch_t);
799
800  cleanup0:
801   if (g->sock >= 0) {
802     close (g->sock);
803     g->sock = -1;
804   }
805   g->state = CONFIG;
806   free (kernel);
807   free (initrd);
808   free (appliance);
809   return -1;
810 }
811
812 /* Alternate attach method: instead of launching the appliance,
813  * connect to an existing unix socket.
814  */
815 static int
816 connect_unix_socket (guestfs_h *g, const char *sockpath)
817 {
818   int r;
819   struct sockaddr_un addr;
820
821   /* Start the clock ... */
822   gettimeofday (&g->launch_t, NULL);
823
824   /* Set these to nothing so we don't try to kill random processes or
825    * read from random file descriptors.
826    */
827   g->pid = 0;
828   g->recoverypid = 0;
829   g->fd[0] = -1;
830   g->fd[1] = -1;
831
832   if (g->verbose)
833     guestfs___print_timestamped_message (g, "connecting to %s", sockpath);
834
835   g->sock = socket (AF_UNIX, SOCK_STREAM, 0);
836   if (g->sock == -1) {
837     perrorf (g, "socket");
838     return -1;
839   }
840
841   addr.sun_family = AF_UNIX;
842   strncpy (addr.sun_path, sockpath, UNIX_PATH_MAX);
843   addr.sun_path[UNIX_PATH_MAX-1] = '\0';
844
845   g->state = LAUNCHING;
846
847   if (connect (g->sock, &addr, sizeof addr) == -1) {
848     perrorf (g, "bind");
849     goto cleanup;
850   }
851
852   if (fcntl (g->sock, F_SETFL, O_NONBLOCK) == -1) {
853     perrorf (g, "fcntl");
854     goto cleanup;
855   }
856
857   uint32_t size;
858   void *buf = NULL;
859   r = guestfs___recv_from_daemon (g, &size, &buf);
860   free (buf);
861
862   if (r == -1) return -1;
863
864   if (size != GUESTFS_LAUNCH_FLAG) {
865     error (g, _("guestfs_launch failed, unexpected initial message from guestfsd"));
866     goto cleanup;
867   }
868
869   if (g->verbose)
870     guestfs___print_timestamped_message (g, "connected");
871
872   if (g->state != READY) {
873     error (g, _("contacted guestfsd, but state != READY"));
874     goto cleanup;
875   }
876
877   return 0;
878
879  cleanup:
880   close (g->sock);
881   return -1;
882 }
883
884 /* launch (of the ordinary appliance) generates approximate progress
885  * messages.  Currently these are defined as follows:
886  *
887  *    0 / 12: launch clock starts
888  *    3 / 12: appliance created
889  *    6 / 12: detected that guest kernel started
890  *    9 / 12: detected that /init script is running
891  *   12 / 12: launch completed successfully
892  *
893  * Notes:
894  * (1) This is not a documented ABI and the behaviour may be changed
895  * or removed in future.
896  * (2) Messages are only sent if more than 5 seconds has elapsed
897  * since the launch clock started.
898  * (3) There is a gross hack in proto.c to make this work.
899  */
900 void
901 guestfs___launch_send_progress (guestfs_h *g, int perdozen)
902 {
903   struct timeval tv;
904
905   gettimeofday (&tv, NULL);
906   if (timeval_diff (&g->launch_t, &tv) >= 5000) {
907     guestfs_progress progress_message =
908       { .proc = 0, .serial = 0, .position = perdozen, .total = 12 };
909
910     guestfs___progress_message_callback (g, &progress_message);
911   }
912 }
913
914 /* Return the location of the tmpdir (eg. "/tmp") and allow users
915  * to override it at runtime using $TMPDIR.
916  * http://www.pathname.com/fhs/pub/fhs-2.3.html#TMPTEMPORARYFILES
917  */
918 const char *
919 guestfs_tmpdir (void)
920 {
921   const char *tmpdir;
922
923 #ifdef P_tmpdir
924   tmpdir = P_tmpdir;
925 #else
926   tmpdir = "/tmp";
927 #endif
928
929   const char *t = getenv ("TMPDIR");
930   if (t) tmpdir = t;
931
932   return tmpdir;
933 }
934
935 /* Return the location of the persistent tmpdir (eg. "/var/tmp") and
936  * allow users to override it at runtime using $TMPDIR.
937  * http://www.pathname.com/fhs/pub/fhs-2.3.html#VARTMPTEMPORARYFILESPRESERVEDBETWEE
938  */
939 const char *
940 guestfs___persistent_tmpdir (void)
941 {
942   const char *tmpdir;
943
944   tmpdir = "/var/tmp";
945
946   const char *t = getenv ("TMPDIR");
947   if (t) tmpdir = t;
948
949   return tmpdir;
950 }
951
952 /* Compute Y - X and return the result in milliseconds.
953  * Approximately the same as this code:
954  * http://www.mpp.mpg.de/~huber/util/timevaldiff.c
955  */
956 static int64_t
957 timeval_diff (const struct timeval *x, const struct timeval *y)
958 {
959   int64_t msec;
960
961   msec = (y->tv_sec - x->tv_sec) * 1000;
962   msec += (y->tv_usec - x->tv_usec) / 1000;
963   return msec;
964 }
965
966 void
967 guestfs___print_timestamped_argv (guestfs_h *g, const char * argv[])
968 {
969   int i = 0;
970   int needs_quote;
971   char *buf = NULL;
972   size_t len;
973   FILE *fp;
974
975   fp = open_memstream (&buf, &len);
976   if (fp == NULL) {
977     warning (g, "open_memstream: %m");
978     return;
979   }
980
981   struct timeval tv;
982   gettimeofday (&tv, NULL);
983   fprintf (fp, "[%05" PRIi64 "ms] ", timeval_diff (&g->launch_t, &tv));
984
985   while (argv[i]) {
986     if (argv[i][0] == '-') /* -option starts a new line */
987       fprintf (fp, " \\\n   ");
988
989     if (i > 0) fputc (' ', fp);
990
991     /* Does it need shell quoting?  This only deals with simple cases. */
992     needs_quote = strcspn (argv[i], " ") != strlen (argv[i]);
993
994     if (needs_quote) fputc ('\'', fp);
995     fprintf (fp, "%s", argv[i]);
996     if (needs_quote) fputc ('\'', fp);
997     i++;
998   }
999
1000   fclose (fp);
1001
1002   debug (g, "%s", buf);
1003
1004   free (buf);
1005 }
1006
1007 void
1008 guestfs___print_timestamped_message (guestfs_h *g, const char *fs, ...)
1009 {
1010   va_list args;
1011   char *msg;
1012   int err;
1013   struct timeval tv;
1014
1015   va_start (args, fs);
1016   err = vasprintf (&msg, fs, args);
1017   va_end (args);
1018
1019   if (err < 0) return;
1020
1021   gettimeofday (&tv, NULL);
1022
1023   debug (g, "[%05" PRIi64 "ms] %s", timeval_diff (&g->launch_t, &tv), msg);
1024
1025   free (msg);
1026 }
1027
1028 static int read_all (guestfs_h *g, FILE *fp, char **ret);
1029
1030 /* Test qemu binary (or wrapper) runs, and do 'qemu -help' and
1031  * 'qemu -version' so we know what options this qemu supports and
1032  * the version.
1033  */
1034 static int
1035 test_qemu (guestfs_h *g)
1036 {
1037   char cmd[1024];
1038   FILE *fp;
1039
1040   snprintf (cmd, sizeof cmd, "LC_ALL=C '%s' -nographic -help", g->qemu);
1041
1042   fp = popen (cmd, "r");
1043   /* qemu -help should always work (qemu -version OTOH wasn't
1044    * supported by qemu 0.9).  If this command doesn't work then it
1045    * probably indicates that the qemu binary is missing.
1046    */
1047   if (!fp) {
1048     /* XXX This error is never printed, even if the qemu binary
1049      * doesn't exist.  Why?
1050      */
1051   error:
1052     perrorf (g, _("%s: command failed: If qemu is located on a non-standard path, try setting the LIBGUESTFS_QEMU environment variable."), cmd);
1053     return -1;
1054   }
1055
1056   if (read_all (g, fp, &g->qemu_help) == -1)
1057     goto error;
1058
1059   if (pclose (fp) == -1)
1060     goto error;
1061
1062   snprintf (cmd, sizeof cmd, "LC_ALL=C '%s' -nographic -version 2>/dev/null",
1063             g->qemu);
1064
1065   fp = popen (cmd, "r");
1066   if (fp) {
1067     /* Intentionally ignore errors. */
1068     read_all (g, fp, &g->qemu_version);
1069     pclose (fp);
1070   }
1071
1072   return 0;
1073 }
1074
1075 static int
1076 read_all (guestfs_h *g, FILE *fp, char **ret)
1077 {
1078   int r, n = 0;
1079   char *p;
1080
1081  again:
1082   if (feof (fp)) {
1083     *ret = safe_realloc (g, *ret, n + 1);
1084     (*ret)[n] = '\0';
1085     return n;
1086   }
1087
1088   *ret = safe_realloc (g, *ret, n + BUFSIZ);
1089   p = &(*ret)[n];
1090   r = fread (p, 1, BUFSIZ, fp);
1091   if (ferror (fp)) {
1092     perrorf (g, "read");
1093     return -1;
1094   }
1095   n += r;
1096   goto again;
1097 }
1098
1099 /* Test if option is supported by qemu command line (just by grepping
1100  * the help text).
1101  *
1102  * The first time this is used, it has to run the external qemu
1103  * binary.  If that fails, it returns -1.
1104  *
1105  * To just do the first-time run of the qemu binary, call this with
1106  * option == NULL, in which case it will return -1 if there was an
1107  * error doing that.
1108  */
1109 static int
1110 qemu_supports (guestfs_h *g, const char *option)
1111 {
1112   if (!g->qemu_help) {
1113     if (test_qemu (g) == -1)
1114       return -1;
1115   }
1116
1117   if (option == NULL)
1118     return 1;
1119
1120   return strstr (g->qemu_help, option) != NULL;
1121 }
1122
1123 /* Check if a file can be opened. */
1124 static int
1125 is_openable (guestfs_h *g, const char *path, int flags)
1126 {
1127   int fd = open (path, flags);
1128   if (fd == -1) {
1129     debug (g, "is_openable: %s: %m", path);
1130     return 0;
1131   }
1132   close (fd);
1133   return 1;
1134 }
1135
1136 /* You had to call this function after launch in versions <= 1.0.70,
1137  * but it is now a no-op.
1138  */
1139 int
1140 guestfs__wait_ready (guestfs_h *g)
1141 {
1142   if (g->state != READY)  {
1143     error (g, _("qemu has not been launched yet"));
1144     return -1;
1145   }
1146
1147   return 0;
1148 }
1149
1150 int
1151 guestfs__kill_subprocess (guestfs_h *g)
1152 {
1153   if (g->state == CONFIG) {
1154     error (g, _("no subprocess to kill"));
1155     return -1;
1156   }
1157
1158   debug (g, "sending SIGTERM to process %d", g->pid);
1159
1160   if (g->pid > 0) kill (g->pid, SIGTERM);
1161   if (g->recoverypid > 0) kill (g->recoverypid, 9);
1162
1163   return 0;
1164 }
1165
1166 /* Access current state. */
1167 int
1168 guestfs__is_config (guestfs_h *g)
1169 {
1170   return g->state == CONFIG;
1171 }
1172
1173 int
1174 guestfs__is_launching (guestfs_h *g)
1175 {
1176   return g->state == LAUNCHING;
1177 }
1178
1179 int
1180 guestfs__is_ready (guestfs_h *g)
1181 {
1182   return g->state == READY;
1183 }
1184
1185 int
1186 guestfs__is_busy (guestfs_h *g)
1187 {
1188   return g->state == BUSY;
1189 }
1190
1191 int
1192 guestfs__get_state (guestfs_h *g)
1193 {
1194   return g->state;
1195 }