ein freies Lehrmittel auf der Basis von eduskript

Facial Motion Capture

Loading thumbnail...

Zusammenfassung

Ein komplettes Tutorial über Gesichts-Motion-Capture mit Blender als kostenlose Motion-Capture-Lösung. Nur mit Handy-Kamera und Marker erstellen Sie professionelles Facial Tracking ohne teure Hardware.

Überblick der 6 Arbeitsschritte

Dieses 24-minütige Tutorial zeigt einen 6-stufigen Workflow, der später grösstenteils automatisiert werden kann:

  1. Recording: Footage mit Tracking-Markern aufnehmen
  2. Tracking: Marker in Blender verfolgen
  3. Mesh Creation: Gesichts-Mesh erstellen
  4. Depth + Bones: 3D-Tiefe und Armature hinzufügen
  5. Rigging: Face-Rig mit Weight Painting
  6. Animation: Tracker mit Rig verknüpfen

Schritt 1: Recording

Tracking-Marker erstellen

Marker-Optionen:

  1. NaN:NaNSchwarzer Sharpie für die meisten Hauttöne (2:08)
  2. NaN:NaNWeisser Korrektor für dunkle Haut (2:17)
  3. NaN:NaNDunkles Make-up als sicherste Option (2:27)
    • Für Haut entwickelt
    • Leicht abwaschbar
    • Ungiftig

Marker-Platzierung Prinzipien

Wichtige Bereiche identifizieren: NaN:NaNHöchste Deformation: Mund, Augen, Augenbrauen (2:49)

Bereiche vermeiden: NaN:NaNUnsichtbare Bereiche: Unter Nase, Haarverdeckung (3:04)

  • Unter der Nase
  • Seitliche Gesichtsbereiche
  • Von Haaren verdeckte Stellen

Filming-Richtlinien

Optimale Aufnahme:

Problematische Aufnahmen: NaN:NaNSchlechte Shots: Verdeckte Tracker (3:35) NaN:NaNKamera-Shake wird als Motion interpretiert (3:39)

Footage-Vorbereitung

Video Editing Workspace:

  1. NaN:NaNVideo Editing Workspace für Konvertierung (4:14)
  2. NaN:NaNFootage als Movie Strip importieren (4:19)
  3. NaN:NaNFramerate wird automatisch angepasst (4:22)
  4. NaN:NaNProjekt-Endpunkt am Strip-Ende anpassen (4:26)
  5. NaN:NaNView Transform: Filmic zu Standard ändern (4:37)
  6. NaN:NaNPNG-Sequenz mit 0 Kompression rendern (4:49)
  7. NaN:NaNCtrl+F12 für Animation-Render (4:57)

Schritt 2: Tracking

Movie Clip Editor Setup

  1. NaN:NaN3D Viewport zu Movie Clip Editor ändern (5:18)
  2. NaN:NaNBildsequenz importieren (5:24)
  3. NaN:NaNPrefetch für Memory-Loading (5:26)

Basis-Tracking

  1. NaN:NaNCtrl+Klick für Tracker platzieren (5:38)
  2. NaN:NaNPattern-Bereich um Feature positionieren (5:42)
  3. NaN:NaNCtrl+T für Forward-Tracking (5:44)
  4. NaN:NaNCtrl+L für Tracker-Lock (5:50)

Tracking-Probleme lösen

Optimierte Tracker-Einstellungen

Motion Model ändern: NaN:NaNPerspective oder Affine für Deformation (6:24) NaN:NaNAffine Model für Shears und Stretches (6:31)

Weitere Optimierungen: NaN:NaNNormalize für Licht-Invarianz aktivieren (6:38) NaN:NaNCorrelation auf 0.9 für 90% Konfidenz (6:43)

Gruppen-Tracking

NaN:NaNMultiple Marker gleichzeitig tracken (6:59) NaN:NaNBox-Select für Feature-Gruppen (7:03) NaN:NaNSchnelle und genaue Gruppen-Resultate (7:11)

Problematische Tracker beheben

Falten-Problem: NaN:NaNFalten stören Pattern-Bereich (7:39)

Lösungsschritte:

  1. NaN:NaNLetzten aktiven Frame finden (7:44)
  2. NaN:NaNPattern-Bereich updaten = neuer Keyframe (7:47)
  3. NaN:NaNSearch Area mit Alt+S vergrössern (7:53)
  4. NaN:NaNErfolgreicher Re-Track (8:00)

Augen-Marker (schwierigste Bereiche)

NaN:NaNAndere Tracker verstecken mit H (8:23) NaN:NaNAugen-Cluster: Starke Deformation (8:31) NaN:NaNAugenlider beeinträchtigen Pattern (8:36)

Manuelle Supervision: NaN:NaNAktiven Frame finden und Tracker updaten (8:40) NaN:NaNMehrere Keyframes für Augenlid-Marker (8:44) NaN:NaNWiederholung bis Frame 418 (8:50)

Präventions-Tipps: NaN:NaNMarker näher zur Augenbraue positionieren (8:58) NaN:NaNKleinere Punkte für bessere Genauigkeit (9:02)


Schritt 3: Mesh Creation

3D Viewport Integration

Kamera-Setup: NaN:NaNKamera auf Z-Achse nach unten ausrichten (9:30)

Tracker zu Empties:

  1. NaN:NaNAlle Tracker im Movie Clip Editor selektieren (9:35)
  2. NaN:NaNReconstruction > Link Empty to Track (9:40)
  3. NaN:NaNEmpties herunterskalieren für übersichtlichen Viewport (9:47)

NaN:NaNCamera View: Empties umreissen Gesichts-Struktur (9:53) NaN:NaNProblem: Nur 2D-Daten, Gesicht braucht Tiefe (10:01)

Drei Methoden für Face Mesh

Option 1: Kostenlose Downloads

Nachteile: NaN:NaNKeine Kontrolle über Aussehen (10:49) NaN:NaNPasst selten zum eigenen Gesicht (10:54)

Option 2: MakeHuman (Open Source)

Arbeitsschritte: NaN:NaNGesichts-Parameter über Slider anpassen (11:13) NaN:NaNBackground Image als Referenz hinzufügen (11:19) NaN:NaNExport als OBJ-Datei zu Blender (11:24)

Bewertung: NaN:NaNVorteil: Jedes gewünschte Gesicht möglich (11:30) NaN:NaNNachteil: Zeitaufwendiger Prozess (11:34)

Option 3: FaceGen Modeler (Demo)

Rechtliche Hinweise: NaN:NaNDemo: Keine Distributions-Rechte (11:52) NaN:NaNMotion Capture: Kein Distribution-Bedarf (11:56)

Funktionalität: NaN:NaN3D-Model aus 3 Fotos: Front + 2 Seiten (12:03)

FaceGen Workflow

Setup: NaN:NaN3 Referenz-Bilder importieren (12:21) NaN:NaNNext für Alignment-Prozess (12:26)

Alignment: NaN:NaNBild aufrecht drehen (12:30) NaN:NaNFeatures lokalisieren wie angefragt (12:34)

Processing: NaN:NaNCheckboxes deaktiviert lassen (12:40) NaN:NaNProcessing unter 1 Minute (12:48) NaN:NaNAkkurates Custom Head Model (12:53)

Export: NaN:NaNFaceGen Logo Watermark (Demo-Version) (12:57) NaN:NaNTextur nicht benötigt für Motion Capture (13:05) NaN:NaNExpression: Current Expression (13:14) NaN:NaNOBJ Format für Export (13:19) NaN:NaN4 Dateien exportiert: OBJ + Material + Texturen (13:25) NaN:NaNNur OBJ-Datei für Motion Capture behalten (13:35)


Schritt 4: Depth + Bones

Tiefe-Projektion verstehen

NaN:NaNTracker auf einzelner Ebene > Tiefe hinzufügen (13:43)

Tutorial-Video