Recadrage intelligent : comment Snip choisit où regarder

Une source 16:9 fait 1920 pixels de large, un clip vertical en fait 1080. Le recadrage ne rétrécit pas l'image : il choisit une fenêtre dedans, et tout ce qui tombe en dehors disparaît. Sur un plateau à trois, cette fenêtre décide de qui reste dans le clip.

Le travail se fait donc en deux temps, et le second est le plus intéressant : décider quoi montrer, puis fabriquer un mouvement de caméra qui tienne la route. Snip découpe le clip en plans, décide une disposition sur chacun, et résout un chemin de caméra sur toute sa durée.

C'est le premier critère, et le seul qui se voit sans rien mesurer : si le visage se déplace à l'intérieur du cadre, le cadrage est raté même sans un seul tremblement.

Sur les clips de mesure, le cadre suit 81 à 87 % de l'amplitude du visage, avec un écart médian de 0,011 à 0,074 hauteur de visage entre les deux centres. Sur un plateau filmé, cela fait 0,015 hauteur de visage, soit 6 pixels sur un visage qui en fait 400.

Les 13 à 19 % non suivis ne sont pas un défaut, c'est l'amortissement : un opérateur ne rend pas chaque hochement de tête. La chaîne qui produit ce compromis tient en quatre étages.

Deux cas ne sont pas des mouvements et ne doivent pas en devenir : un changement d'interlocuteur, et un saut de sujet sur la même caméra. Laisser le solveur relier les deux positions produit un déplacement de 1 160 pixels étalé sur quatre images, soit 67 millisecondes : ce n'est ni une coupe franche ni un panoramique lisible, c'est un filé. Entre deux interlocuteurs, un monteur coupe, il ne balaie pas la pièce. Ces instants sont donc traités comme des coupes, et les deux morceaux sont résolus séparément.

Une bascule d'interlocuteur en écran scindé n'existe pas : les deux personnes restent visibles en permanence. Le signal de bouche est mesuré et reporté dans les métadonnées, il ne décide pas du cadrage. Sans le son, rien ne permet de vérifier que le visage qui gagne est celui qui parle.

Quand aucune disposition n'est sûre, le plan entier est conservé. Ce n'est pas un aveu : sur un paysage, un terrain de football, une scène de concert, un 9:16 centré jette deux tiers de la largeur pour cadrer sur ce qui se trouvait au milieu. Le cadre du réalisateur vaut mieux qu'un recadrage qui se prétend une décision.

Restent les deux bandes libres, un tiers de la sortie. Elles ont été noires, puis colorées d'un halo. C'est aujourd'hui la scène elle-même, recadrée pour remplir le vertical, floutée et assombrie, avec le panneau net posé dessus : le fond bouge donc avec l'image au lieu de tenir une couleur, et la bordure ne se voit plus.

Le flou n'est jamais calculé en pleine résolution. La source est réduite à un tampon de 120 pixels de haut, floutée là, puis réétirée : le coût passe de 430 millisecondes par image à 0,44.

Une décision est également récusée après coup : l'analyse tourne sur une image réduite, et une contre-épreuve à pleine résolution jette les détections qu'elle a fabriquées. Le premier cas rencontré en production était un mur de bois scindé en deux pendant douze secondes.

Le recadrage n'est pas un interrupteur posé avant la génération, et ce n'est pas un oubli : trancher avant d'avoir vu le résultat demande de deviner. Ce qui se répare, c'est un clip déjà fabriqué, sous les yeux.

L'onglet Cadrage de l'éditeur ne montre pas le clip recadré : il montre la source entière, avec par-dessus la fenêtre retenue à l'instant lu, et l'aperçu vertical à côté. On voit donc l'écart entre ce que la caméra a filmé et ce que le clip garde. Le bloc ci-dessous en est le geste, sur une image fixe.

Seuls les tronçons repris partent au worker. En pratique, une ou deux scènes suffisent, et ce sont presque toujours les mêmes : la démonstration à l'écran, l'objet montré à la main, le plan large où l'on préférait voir un visage.