OpenClaw-Einrichtung für menschliche Beteiligung bei der Browser-Automatisierung mit Docker, Chromium und noVNC

Ein Entwickler auf r/openclaw dokumentierte sein Setup, um OpenClaw in die Lage zu versetzen, menschliche Eingriffe wie CAPTCHA-Lösung und Genehmigungen während automatisierter Browsersitzungen zu bewältigen. Die Lösung verwendet einen Docker-Container mit Chromium, noVNC und verwandten Tools, um bei Bedarf Fernintervention zu ermöglichen.

Wie es funktioniert

Der Agent steuert einen headless Browser über das Chrome DevTools Protocol (CDP). Wenn er auf ein CAPTCHA stößt oder eine menschliche Genehmigung benötigt, sendet er eine Telegram-Benachrichtigung. Der Benutzer öffnet eine noVNC-URL auf seinem Telefon oder Laptop, um den Browser anzuzeigen und zu interagieren, und antwortet dann mit "fertig", damit der Agent fortfahren kann. Das Setup benötigt etwa 300 MB RAM mit einer Kaltstartzeit von 3 Sekunden.

Praktische Anwendung

Der Entwickler testete dieses Setup, indem er OpenClaw beauftragte, eine Kurierabholung zu buchen. Nachdem er Fotos von Frachtbriefen und E-Mails bereitgestellt hatte, füllte der Agent das Online-Formular aus, wählte Daten aus und reichte es ein, während der Entwickler über noVNC überwachte. Er bemerkte, dass Claude Opus 4.6's Chromium-Widget bei derselben Aufgabe Schwierigkeiten hatte, in Navigationsschleifen stecken blieb, während OpenClaw die Buchung abschloss.

Technische Umsetzung

Der Docker-Container führt aus:

• Xvfb für virtuelle Anzeige
• Chromium mit Playwright
• x11vnc und noVNC für Fernanzeige
• supervisord für Prozessverwaltung

Der Bot steuert Chromium über CDP von innerhalb des Containers, während Benutzer den Browser über noVNC von jedem Gerät mit einer einfachen URL anzeigen (keine App erforderlich).

Sicherheitsmaßnahmen

• noVNC nur über Tailscale zugänglich (Client-Gerät muss Teil des tailnet sein)
• CDP-Port nur an localhost gebunden
• Container hat keinen Zugriff auf das Host-Dateisystem
• Chromium läuft unprivilegiert
• Passwörter/2FA werden direkt über das noVNC-Zwischenablage-Panel verarbeitet

Zusätzliche Absicherung

• Docker-Healthcheck: prüft CDP alle 30s, 3 Wiederholungen vor "unhealthy"
• Ressourcenlimits: 1 GB RAM + 2 CPUs
• Tab-Bereiniger: behält maximal 5 Tabs, schließt leere Tabs, läuft alle 5 Minuten
• Container bleibt isoliert ohne Host-Mounts

Docker-Konfiguration

Das Dockerfile verwendet Ubuntu 24.04 und installiert:

FROM ubuntu:24.04
ENV DEBIAN_FRONTEND=noninteractive
ENV DISPLAY=:99
ENV RESOLUTION=1920x1080x24
RUN apt-get update && apt-get install -y --no-install-recommends \
    ca-certificates xvfb x11vnc fonts-liberation \
    dbus-x11 supervisor curl gnupg websockify novnc \
    && rm -rf /var/lib/apt/lists/*
RUN curl -fsSL https://deb.nodesource.com/setup_20.x | bash - \
    && apt-get install -y nodejs \
    && npx playwright install --with-deps chromium \
    && rm -rf /var/lib/apt/lists/*
RUN useradd -m -s /bin/bash browser \
    && mkdir -p /home/browser/.cache \
    && cp -r /root/.cache/ms-playwright /home/browser/.cache/ \
    && chown -R browser:browser /home/browser
COPY supervisord.conf /etc/supervisor/conf.d/supervisord.conf
COPY start-chromium.sh /usr/local/bin/start-chromium.sh
RUN chmod +x /usr/local/bin/start-chromium.sh
RUN ln -sf /usr/share/novnc/vnc.html /usr/share/novnc/index.html
EXPOSE 6080 9222
CMD ["/usr/bin/supervisord", "-c", "/etc/supervisor/conf.d/supervisord.conf"]

Die supervisord.conf verwaltet vier Prozesse: Xvfb, Chromium, x11vnc und noVNC/websockify.

Das start-chromium.sh-Skript startet Chrome mit spezifischen Flags, einschließlich --remote-debugging-port=9222 --remote-debugging-address=0.0.0.0 für CDP-Zugriff.

Geplante Aufgaben

Der Entwickler plant, Token-Authentifizierung für noVNC hinzuzufügen und eine Auto-Stop-Funktion nach Leerlaufzeit zu implementieren.