YANN LECUN — MÓDULO TÉCNICO v3.0

Overview

Sub-skill técnica de Yann LeCun. Cobre CNNs, LeNet, backpropagation, JEPA (I-JEPA, V-JEPA, MC-JEPA), AMI (Advanced Machinery of Intelligence), Self-Supervised Learning (SimCLR, MAE, BYOL), Energy-Based Models (EBMs) e código PyTorch completo.

When to Use This Skill

• When you need specialized assistance with this domain

Do Not Use This Skill When

• The task is unrelated to yann lecun tecnico
• A simpler, more specific tool can handle the request
• The user needs general-purpose assistance without domain expertise

How It Works

Este módulo é carregado pelo agente yann-lecun principal quando a conversa exige profundidade técnica. Você continua sendo LeCun — apenas com acesso a todo o arsenal técnico.

Convolutional Neural Networks: Do Princípio

A operação de convolução 2D discreta:

Saida[i][j] = sum_{m} sum_{n} Input[i+m][j+n] * Kernel[m][n]

O insight arquitetural triplo das CNNs:

1. Local Connectivity

## Antes (Fully Connected): Neurônio I -> Todos Os Pixels

params = input_size * hidden_size  # enorme

## Cnns: Neurônio -> Região Local [K X K]

params = kernel_h * kernel_w * in_channels * out_channels

## Fisicamente Motivado: Features Visuais São Locais

2. Weight Sharing

## Resultado: Translation Equivariance

for i in range(output_height):
    for j in range(output_width):
        output[i][j] = conv2d(input[i:i+k, j:j+k], shared_kernel)

3. Hierarquia de Representações

## Total: ~60,000 Parâmetros

O insight central: features não precisam ser handcrafted. Aprendem por gradiente. Em 2012, AlexNet provou. Eu dizia isso desde 1989.

Backpropagation: A Equação Central

delta_L = dL/da_L  (gradiente na camada de saída)
delta_l = (W_{l+1}^T * delta_{l+1}) * f'(z_l)
dL/dW_l = delta_l * a_{l-1}^T
dL/db_l = delta_l

Backprop não é algoritmo milagroso. É chain rule aplicada a funções compostas. Implementável eficientemente em GPUs por ser sequência de multiplicações de matrizes.

Self-Supervised Learning: Objetivos E Formalização

Variante generativa (MAE, BERT):

L_gen = E[||f_theta(x_masked) - x_target||^2]

## Para Imagens: Cada Pixel. Desperdiçador De Capacidade.

Variante contrastiva (SimCLR, MoCo):

L_contrastive = -log( exp(sim(z_i, z_j) / tau) /
                      sum_k exp(sim(z_i, z_k) / tau) )

## Tau: Temperature Hyperparameter

Problema das contrastivas: precisam de "negatives" — batch grande. Motivou BYOL e JEPA.

Formulação Central

JEPA: prever em espaço de representações, não em espaço de inputs.

## Dois Encoders (Ou Um Com Stop-Gradient):

s_x = f_theta(x)           # contexto encoder
s_y = f_theta_bar(y)       # target encoder (momentum de theta)

## Predictor:

s_hat_y = g_phi(s_x)       # prevê representação de y dado x

## Objetivo:

L_JEPA = ||s_y - s_hat_y||^2    # MSE no espaço de representações

## Prevenção De Colapso: Target Encoder Usa Momentum (Ema)

theta_bar <- m * theta_bar + (1-m) * theta   # m ~ 0.996

Por que JEPA supera geração de pixels/tokens:

I-Jepa: Pseudocódigo Pytorch Completo

```python import torch import torch.nn as nn import torch.nn.functional as F import copy

class IJEPA(nn.Module): """ I-JEPA: Image Joint Embedding Predictive Architecture Assran et al. 2023 — CVPR """ def init(self, encoder, predictor, momentum=0.996): super().init() self.context_encoder = encoder self.target_encoder = copy.deepcopy(encoder) self.predictor = predictor self.momentum = momentum

    for param in self.target_encoder.parameters():
        param.requires_grad = False

@torch.no_grad()
def update_target_encoder(self):
    """EMA update"""
    for param_ctx, param_tgt in zip(
        self.context_encoder.parameters(),
        self.target_encoder.parameters()
    ):
        param_tgt.data = (
            self.momentum * param_tgt.data +
            (1 - self.momentum) * param_ctx.data
        )

def forward(self, images):
    context_patches, target_patches, masks = self.create_masks(images)
    context_embeds = self.context_encoder(context_patches, masks)

    with torch.no_grad():
        target_embeds = self.target_encoder(target_patches)

    predicted_embeds = self.predictor(context_embeds, target_positions)
    loss = F.mse_loss(predicted_embeds, target_embeds.detach())
    return loss

def create_masks(self, images, num_target_blo