멀티모달 모델 직접 구현해볼까요? 💻

이론은 이제 충분히 알았으니, 간단한 멀티모달 모델을 파이썬으로 구현해볼게요! 텍스트와 이미지를 함께 처리하는 모델을 만들어 볼거예요. 요즘 핫한 PyTorch를 사용할게요! 🔥

먼저 필요한 라이브러리부터 임포트해볼까요?

import torch
import torch.nn as nn
import torchvision.models as models
import transformers

이제 텍스트 인코더와 이미지 인코더를 정의해볼게요:

class TextEncoder(nn.Module):
    def __init__(self, embedding_dim=768):
        super(TextEncoder, self).__init__()
        # BERT 모델을 텍스트 인코더로 사용
        self.bert = transformers.BertModel.from_pretrained('bert-base-uncased')
        self.fc = nn.Linear(768, embedding_dim)
        
    def forward(self, input_ids, attention_mask):
        outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask)
        # [CLS] 토큰의 출력을 사용
        cls_output = outputs.last_hidden_state[:, 0, :]
        return self.fc(cls_output)

class ImageEncoder(nn.Module):
    def __init__(self, embedding_dim=768):
        super(ImageEncoder, self).__init__()
        # ResNet을 이미지 인코더로 사용
        resnet = models.resnet50(pretrained=True)
        # 마지막 분류 레이어 제거
        self.resnet = nn.Sequential(*list(resnet.children())[:-1])
        self.fc = nn.Linear(2048, embedding_dim)
        
    def forward(self, images):
        features = self.resnet(images)
        features = features.view(features.size(0), -1)
        return self.fc(features)

이제 두 모달을 통합하는 퓨전 모듈을 만들어볼게요:

class MultimodalFusion(nn.Module):
    def __init__(self, embedding_dim=768):
        super(MultimodalFusion, self).__init__()
        self.fusion = nn.Sequential(
            nn.Linear(embedding_dim * 2, embedding_dim),
            nn.ReLU(),
            nn.Dropout(0.2),
            nn.Linear(embedding_dim, embedding_dim)
        )
        
    def forward(self, text_features, image_features):
        # 단순 연결(concatenation) 방식으로 퓨전
        combined = torch.cat((text_features, image_features), dim=1)
        return self.fusion(combined)

마지막으로 전체 멀티모달 모델을 조립해볼게요:

class MultimodalModel(nn.Module):
    def __init__(self, num_classes, embedding_dim=768):
        super(MultimodalModel, self).__init__()
        self.text_encoder = TextEncoder(embedding_dim)
        self.image_encoder = ImageEncoder(embedding_dim)
        self.fusion = MultimodalFusion(embedding_dim)
        self.classifier = nn.Linear(embedding_dim, num_classes)
        
    def forward(self, input_ids, attention_mask, images):
        text_features = self.text_encoder(input_ids, attention_mask)
        image_features = self.image_encoder(images)
        fused_features = self.fusion(text_features, image_features)
        output = self.classifier(fused_features)
        return output

짜잔! 이렇게 간단한(?) 멀티모달 모델이 완성됐어요! 물론 실제로는 더 복잡하고 정교한 설계가 필요하지만, 기본 구조는 이런 식이랍니다. 이제 이 모델을 학습시키면 텍스트와 이미지를 함께 이해하는 AI가 탄생하는 거예요! 🎉

위 코드에서는 단순 연결(concatenation) 방식으로 퓨전을 구현했지만, 실제로는 어텐션(attention) 메커니즘이나 크로스모달 트랜스포머(cross-modal transformer) 같은 더 복잡한 방식을 사용하기도 해요. 이런 고급 기술들이 GPT-4V나 DALL-E 같은 최신 모델의 핵심이랍니다! 🧠