Taevium

이미 배운 것은 지키고,
구조는 새로 짓습니다.

Taevium은 사전학습된 언어모델을 자체 아키텍처로 옮겨 심는 연구 프로젝트입니다. 그대로 옮길 수 있는 레이어는 복사하고, 옮길 수 없는 부분은 변환해서, 모델이 이미 가진 지식을 최대한 잃지 않는 것을 목표로 합니다.

최근 소식

Updates · 2026

소식을 불러오고 있습니다…

모델 라인업

Geometria series

Domus

Rhombus · 시작과 핵심 ~9B

Taevium의 첫 집. 자체 아키텍처가 실제로 대화할 수 있는지 증명하는 단계입니다.

개발 중

Urbs

Reticulum · 연결과 질서 ~31B · A3B

여러 전문 영역을 하나의 도시처럼 연결하는 중형 MoE 모델입니다.

구상

Orbis

Sphaera · 통합과 확장 ~120B · A12B

언어와 추론 능력을 하나로 통합해 넓혀 가는 대형 모델입니다.

계획

Caelum

Aureola · 무한과 초월 ~1T · A32B

Taevium이 언젠가 닿고 싶은 가장 높은 하늘입니다.

구상

규모는 현재 구상 기준이며 연구 진행과 자원 상황에 따라 바뀔 수 있습니다. 이름은 라틴어로 집, 도시, 세계, 하늘을 뜻합니다.

접근 방식

Copy · Convert · Keep
01 — 복사

옮길 수 있는 것은 그대로

새 아키텍처와 형태가 맞는 레이어는 손대지 않고 가져옵니다. 사전학습이 만든 지식이 가장 온전히 남는 경로입니다.

02 — 변환

맞지 않는 것은 바꿔서

구조가 다른 부분은 버리지 않고 새 형태로 변환합니다. 처음부터 다시 학습하는 비용을 피하기 위한 핵심 단계입니다.

03 — 유지

배운 것을 잃지 않게

파인튜닝으로 덧칠하는 대신, 전환 뒤에도 원래 모델의 능력이 얼마나 남았는지를 기준으로 결과를 판단합니다.