📱 내 폰 안에 AI가 산다! Core ML과 TensorFlow Lite로 만드는 온디바이스 AI 앱 완전정복

🤔 1. 온디바이스 AI가 대체 뭐길래?

간단히 말하면 AI 모델의 "추론(inference)"을 서버가 아니라 사용자의 기기 안에서 실행하는 거야.
학습(training)은 보통 데이터센터에서 끝내고, 완성된 모델을 가볍게 다듬어서 앱에 넣어 배포하는 구조지.

그럼 왜 굳이 폰에서 돌리냐고? 이유가 꽤 현실적이야.

물론 공짜 점심은 없어. 폰은 메모리·배터리·발열이라는 빡빡한 제약이 있어서, 서버에서 쓰던 거대한 모델을 그대로 넣을 수는 없거든. 그래서 등장하는 게 바로 모바일 전용 추론 프레임워크, 오늘의 주인공 둘이야.

🍎 2. Core ML: 애플 생태계의 공식 AI 엔진

Core ML은 애플이 2017년 WWDC에서 iOS 11과 함께 공개한 머신러닝 프레임워크야. iPhone, iPad, Mac, Apple Watch, Apple TV, Vision Pro까지 애플 기기 전반에서 쓸 수 있어.

Core ML의 진짜 매력은 하드웨어를 알아서 골라 쓴다는 점이야. 모델을 실행하면 Core ML이 연산을 CPU, GPU, Neural Engine(ANE) 중 적절한 곳에 분배해줘. Neural Engine은 A11 Bionic부터 들어간 애플의 전용 AI 가속기인데, 개발자가 직접 저수준 코드를 짤 필요 없이 Core ML을 통해서 활용하는 구조야.

📦 모델 포맷: .mlmodel과 .mlpackage

예전엔 모델 파일이 .mlmodel 하나였는데, 지금은 ML Program이라는 새 모델 타입과 함께 .mlpackage(폴더 형태 패키지)가 표준이 됐어. ML Program은 iOS 15 이상에서 동작하고, 가중치를 별도 파일로 관리해서 큰 모델과 다양한 정밀도(Float16 등)를 다루기 편해.

🔄 변환: coremltools로 PyTorch 모델 가져오기

요즘 연구·실무 모델 대부분이 PyTorch로 만들어지잖아? coremltools는 TorchScript로 trace한 모델이나 최신 버전에선 torch.export 결과물을 받아서 Core ML로 변환해줘. 대략 이런 느낌이야.

import torch, torchvision
import coremltools as ct

model = torchvision.models.mobilenet_v3_small(weights="DEFAULT").eval()
example = torch.rand(1, 3, 224, 224)
traced = torch.jit.trace(model, example)

mlmodel = ct.convert(
    traced,
    inputs=[ct.ImageType(name="image", shape=example.shape,
                         scale=1/255.0)],
    convert_to="mlprogram",
    minimum_deployment_target=ct.target.iOS16,
)
mlmodel.save("MobileNetV3.mlpackage")

📲 Swift에서 실행하기

.mlpackage 파일을 Xcode 프로젝트에 드래그하면, Xcode가 타입이 지정된 Swift 클래스를 자동 생성해줘. 이게 진짜 편해. 이미지 작업이라면 Vision과 엮어서 쓰는 게 정석이야.

import Vision
import CoreML

let config = MLModelConfiguration()
config.computeUnits = .all   // CPU + GPU + Neural Engine

let coreModel = try MobileNetV3(configuration: config).model
let vnModel = try VNCoreMLModel(for: coreModel)

let request = VNCoreMLRequest(model: vnModel) { req, _ in
    guard let top = (req.results as? [VNClassificationObservation])?.first
    else { return }
    print("\(top.identifier): \(top.confidence)")
}
request.imageCropAndScaleOption = .centerCrop

let handler = VNImageRequestHandler(cgImage: cgImage)
try handler.perform([request])

computeUnits는 .all, .cpuAndGPU, .cpuOnly, 그리고 iOS 16부터 생긴 .cpuAndNeuralEngine 중에 고를 수 있어. 기본은 .all이고, 대부분 이게 제일 무난해.

🛠️ Xcode 성능 리포트는 꼭 써봐

Xcode 14부터 모델 파일을 열면 Performance 탭에서 연결된 기기에서의 로드 시간, 예측 지연 시간, 그리고 각 연산이 CPU/GPU/ANE 중 어디서 돌았는지까지 보여줘. "왜 Neural Engine을 안 타지?" 싶을 때 범인을 찾는 데 최고야. Instruments의 Core ML 템플릿도 같이 쓰면 병목을 정확히 잡을 수 있어.

🤖 3. TensorFlow Lite → LiteRT: 어디서나 도는 만능 일꾼

TensorFlow Lite(TFLite)는 구글이 2017년 공개한 모바일·임베디드용 경량 추론 프레임워크야. 그리고 중요한 소식! 구글은 2024년 9월에 TFLite의 이름을 LiteRT(Lite Runtime)로 바꿨어. TensorFlow만이 아니라 PyTorch, JAX, Keras 모델도 품는 "범용 온디바이스 런타임"이 되겠다는 의미지.

🌍 장점: 크로스플랫폼

Core ML이 애플 전용이라면, LiteRT는 Android, iOS, 리눅스, macOS, 웹, 그리고 마이크로컨트롤러(LiteRT for Microcontrollers)까지 아울러. 하나의 .tflite 모델로 안드로이드와 iOS 양쪽 앱을 커버할 수 있다는 게 큰 무기야.

🚀 Delegate: 가속기로 일 넘기기

TFLite에는 Delegate(델리게이트)라는 개념이 있어. 기본은 CPU(XNNPACK 최적화 커널)로 돌고, 델리게이트를 붙이면 연산 일부 혹은 전체를 가속기로 넘겨.

🔄 변환: TFLiteConverter 기본기

import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_saved_model("my_saved_model")
converter.optimizations = [tf.lite.Optimize.DEFAULT]  # 동적 범위 양자화
tflite_model = converter.convert()

with open("model.tflite", "wb") as f:
    f.write(tflite_model)

PyTorch 모델이라면? 구글이 만든 AI Edge Torch(Python 패키지 ai-edge-torch)로 PyTorch 모델을 바로 .tflite로 변환할 수 있어. 예전처럼 ONNX → TF → TFLite로 세 번 갈아타는 고생이 크게 줄었지.

📲 Android(Kotlin)에서 실행하기

val options = Interpreter.Options().apply {
    setNumThreads(4)
}
val interpreter = Interpreter(loadModelFile(context, "model.tflite"), options)

val input = Array(1) { Array(224) { Array(224) { FloatArray(3) } } }
val output = Array(1) { FloatArray(1000) }
interpreter.run(input, output)

val best = output[0].withIndex().maxBy { it.value }
Log.d("AI", "class=${best.index}, score=${best.value}")

⚖️ 4. 그래서 뭘 써야 해? 둘의 비교

실무에서 자주 쓰는 공식은 이래.

🗜️ 5. 다이어트의 기술: 모델 최적화

모바일 AI의 핵심은 결국 "작고 빠르게, 그런데 정확도는 최대한 유지"야. 대표 기법을 그림으로 먼저 보자.

① 양자화(Quantization)

32비트 부동소수 가중치를 16비트나 8비트, 심지어 4비트로 줄이는 거야. INT8로만 바꿔도 가중치 크기가 약 4분의 1이 돼.

② 가지치기(Pruning)·팔레타이제이션(Palettization)

중요도 낮은 가중치를 0으로 만드는 게 가지치기, 가중치 값들을 소수의 대표값(룩업 테이블)으로 묶는 게 팔레타이제이션이야. coremltools의 coremltools.optimize 모듈이 이런 압축 기법들을 지원하고, 애플은 특히 팔레타이제이션을 Neural Engine 친화적인 압축으로 자주 소개해.

③ 애초에 가벼운 구조 고르기

MobileNet, EfficientNet-Lite, YOLO 계열의 경량 버전처럼 모바일을 염두에 두고 설계된 아키텍처를 쓰는 게 최적화의 절반이야. 무거운 모델을 억지로 깎는 것보다 효율적일 때가 많거든.

🧭 6. 온디바이스 AI 앱 제작 전체 흐름

각 단계에서 놓치기 쉬운 포인트를 짚어볼게.

🧠 7. 요즘 핫한 이야기: 폰에서 돌아가는 생성형 AI

몇 년 전만 해도 "폰에서 LLM 돌리기"는 농담 같았는데, 지금은 현실이야.

다만 LLM은 수억~수십억 파라미터라 메모리·저장 공간·발열이 일반 비전 모델과 차원이 달라. "모든 사용자 기기에서 돌아가나?"를 꼭 확인하고, 미지원 기기를 위한 대체 경로(서버 호출 등)를 설계해두는 게 안전해.

💡 8. 이런 앱 만들어볼 수 있어!

이런 아이디어는 있는데 모델 학습이나 앱 개발 중 한쪽이 막힌다면? 재능넷 같은 재능 공유 플랫폼에서 iOS·안드로이드 개발자나 머신러닝 전문가의 도움을 받아 MVP를 빠르게 만들어보는 것도 현실적인 방법이야. 혼자 끙끙대는 시간보다 훨씬 빠를 수 있거든 😉

🧯 9. 자주 마주치는 함정 TOP 5

🎁 마무리: 핵심만 세 줄 요약

참고 자료
· Apple Developer – Core ML: https://developer.apple.com/documentation/coreml
· coremltools 공식 문서: https://apple.github.io/coremltools/docs-guides/
· Google AI Edge – LiteRT 개요: https://ai.google.dev/edge/litert
· Google Developers Blog – "TensorFlow Lite is now LiteRT"(2024): https://developers.googleblog.com/en/tensorflow-lite-is-now-litert/
· AI Edge Torch (GitHub): https://github.com/google-ai-edge/ai-edge-torch
· Android Developers – NNAPI 지원 중단 안내: https://developer.android.com/ndk/guides/neuralnetworks/migration-guide
· ※ 버전·지원 기기 정보는 수시로 바뀌므로 개발 전 공식 문서의 최신 내용을 확인하세요.