사용 가능한 모델

Serverless Inference는 여러 오픈 소스 파운데이션 모델에 대한 액세스를 제공합니다. 각 모델은 서로 다른 강점과 사용 사례를 갖고 있습니다.

정식 출시된 모델

다음은 정식 출시된 모델입니다:

모델	모델 ID(API 사용 시)	유형	컨텍스트 윈도우	파라미터	설명
DeepSeek V4-Flash-0731	`deepseek-ai/DeepSeek-V4-Flash-0731`	텍스트	262k	13B-284B (활성-전체)	DeepSeek V4-Flash-0731은 코딩, 추론, 에이전트형 워크로드에 적합한 MoE 모델입니다.
DeepSeek V4-Pro-0813	`deepseek-ai/DeepSeek-V4-Pro-0813`	텍스트	1049k	49B-1.6T (활성-전체)	DeepSeek V4-Pro-0813은 고급 추론, 코딩, 복잡한 에이전트형 워크로드에서 뛰어난 성능을 발휘하는 1.6T-파라미터 MoE 모델입니다.
DeepSeek V3.1	`deepseek-ai/DeepSeek-V3.1`	텍스트	161k	37B-671B (활성-전체)	프롬프트 템플릿을 통해 추론 모드와 비추론 모드를 모두 지원하는 대규모 하이브리드 모델입니다.
Google Gemma 4 31B	`google/gemma-4-31B-it`	텍스트, 비전	262k	310억 개(총계)	Gemma 4 31B Dense는 고급 추론, 에이전트 워크플로, 긴 컨텍스트 처리를 위해 설계되었으며, 140개 이상의 언어로 처음부터 학습되었습니다.
IBM Granite 4.2 8B	`ibm-granite/granite-4.2-8b`	텍스트	131k	8B (총계)	Granite 4.2 8B는 향상된 도구 호출, 지침 준수, 채팅 기능을 갖춘 Instruct 모델입니다.
Meta Llama 3.3 70B	`meta-llama/Llama-3.3-70B-Instruct`	텍스트	128k	700억 개(총계)	대화형 작업, 세부 지침 준수, 코딩에 뛰어난 다국어 모델입니다.
Meta Llama 3.1 8B	`meta-llama/Llama-3.1-8B-Instruct`	텍스트	131k	8B (총계)	빠르게 응답하는 다국어 챗봇 상호작용에 최적화된 효율적인 대화형 모델입니다.
MiniMax M3	`MiniMaxAI/MiniMax-M3`	텍스트, 비전	262k	23B-428B (활성-전체)	MiniMax M3는 코딩 및 에이전트형 워크플로에 최적화된 활성 파라미터 23B를 갖춘 멀티모달 MoE 모델입니다.
Moonshot AI Kimi K2.7 Code	`moonshotai/Kimi-K2.7-Code`	텍스트, 비전	262k	32B-1T (활성-전체)	Kimi K2.7 Code는 장기적인 에이전트형 코딩 및 소프트웨어 엔지니어링에 특화된, 활성 파라미터 32B와 총 1T 파라미터를 갖춘 MoE 모델입니다.
Moonshot AI Kimi K2.6	`moonshotai/Kimi-K2.6`	텍스트, 비전	262k	32B-1T (활성-전체)	Kimi K2.6은 활성화된 파라미터 320억 개와 총 1조 개의 파라미터를 갖춘 멀티모달 Mixture-of-Experts 언어 모델입니다.
NVIDIA Nemotron 3.5 Lightning	`nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B`	텍스트	262k	3B-30B (활성-전체)	Nemotron 3.5 Lightning은 금융 서비스, 사이버 보안, 통신, 소매 등 다양한 사용 사례에서 빠르고 안정적인 에이전트형 작업을 위해 설계된 MoE 모델입니다.
NVIDIA Nemotron 3 Ultra	`nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B`	텍스트	262k	55B-550B (활성-전체)	Nemotron 3 Ultra는 코딩, 심층 리서치, 엔터프라이즈 자동화 전반에서 장시간 실행되는 에이전트를 위해 설계된 강력한 MoE 모델입니다.
OpenAI GPT OSS 120B	`openai/gpt-oss-120b`	텍스트	131k	5.1B-117B (활성-전체)	높은 추론 성능, 에이전트형, 그리고 범용 사용 사례를 위해 설계된 효율적인 Mixture-of-Experts 모델입니다.
OpenAI GPT OSS 20B	`openai/gpt-oss-20b`	텍스트	131k	3.6B-20B (활성-전체)	추론 기능을 갖춘 OpenAI’s Harmony 응답 형식으로 트레이닝된, 지연 시간이 짧은 Mixture-of-Experts 모델.
Qwen3.8 27B	`Qwen/Qwen3.8-27B`	텍스트, 비전	262k	27B(총계)	Qwen3.8-27B는 코딩, 연구, 비전 및 장시간 실행되는 에이전트 작업에 적합한 고밀도 멀티모달 모델입니다.
Qwen3.6 35B A3B	`Qwen/Qwen3.6-35B-A3B`	텍스트, 이미지	262k	3B-35B (활성-전체)	Qwen3.6-35B-A3B는 에이전트형 코딩 워크플로에 최적화된, 262K 컨텍스트를 지원하는 MoE 멀티모달 모델입니다.
Z.AI GLM 5.3 Flash	`zai-org/GLM-5.3-Flash`	텍스트, 비전	1049k	18B-320B (활성-전체)	GLM-5.3-Flash는 총 3,200억 개의 파라미터와 180억 개의 활성 파라미터를 갖춘 네이티브 멀티모달 모델입니다.
Z.AI GLM 5.2	`zai-org/GLM-5.2`	텍스트	1049k	40B-744B (활성-전체)	GLM-5.2는 활성화된 파라미터 400억 개와 총 7,440억 개의 파라미터를 갖춘 Mixture-of-Experts 언어 모델입니다.

실험 단계 모델

다음 모델은 실험 단계입니다: 현재는 없습니다

사용 중단된 모델

다음 모델은 사용 중단되었습니다:

모델	모델 ID (API 사용 시)	유형	컨텍스트 윈도우	파라미터	설명
DeepSeek V4-Flash	`deepseek-ai/DeepSeek-V4-Flash`	텍스트	1049k	13B-284B (활성-전체)	DeepSeek V4-Flash는 1M 컨텍스트 길이를 지원하는 MoE 모델로, 코딩, 추론, 에이전트형 워크로드에 뛰어납니다.
DeepSeek V4-Pro	`deepseek-ai/DeepSeek-V4-Pro`	텍스트	1049k	49B-1.6T (활성-전체)	DeepSeek V4-Pro는 활성 파라미터 49B를 갖춘 1.6T 파라미터 MoE 모델로, 고급 추론, 코딩, 복잡한 에이전트형 워크로드에 탁월합니다.
IBM Granite 4.1 8B	`ibm-granite/granite-4.1-8b`	텍스트	131k	8B (전체)	Granite 4.1 8B는 향상된 도구 호출, 지시 따르기, 채팅 기능을 제공하는 롱 컨텍스트 instruct 모델입니다.
JetBrains Mellum2 12B A2.5B	`JetBrains/Mellum2-12B-A2.5B-Instruct`	텍스트	131k	2.5B-12B (활성-전체)	Mellum2-12B-A2.5B-Instruct는 131K 컨텍스트를 지원하는 빠른 MoE 모델로, 코딩, 도구 사용, 저지연 AI 워크플로를 위해 설계되었습니다.
Meta Llama 3.1 70B	`meta-llama/Llama-3.1-70B-Instruct`	텍스트	131k	70B (전체)	반응성이 뛰어난 다국어 챗봇 상호작용에 최적화된 효율적인 대화형 모델입니다.
OpenPipe Qwen3 14B Instruct	`OpenPipe/Qwen3-14B-Instruct`	텍스트	32.8k	14.8B (전체)	파인튜닝으로 에이전트를 구축할 수 있도록 OpenPipe가 최적화한 효율적인 다국어 dense 인스트럭션 튜닝 모델입니다.
Qwen3.6 27B	`Qwen/Qwen3.6-27B`	텍스트, 비전	262k	27B (전체)	Qwen3.6-27B는 262K 컨텍스트를 지원하는 27B dense 멀티모달 모델로, 최상위 수준의 에이전트형 코딩을 위해 설계되었습니다.
Qwen3.5 35B A3B	`Qwen/Qwen3.5-35B-A3B`	텍스트, 비전	262k	3B-35B (활성-전체)	Qwen3.5-35B-A3B는 채팅, 추론, 에이전트형 작업 전반에서 효율적이고 처리량이 높은 추론을 수행하도록 설계된 오픈 웨이트 멀티모달 MoE 모델입니다.
Qwen3 30B A3B	`Qwen/Qwen3-30B-A3B-Instruct-2507`	텍스트	262k	3.3B-30.5B (활성-전체)	Qwen3-30B-A3B-Instruct-2507은 향상된 추론, 코딩, 롱 컨텍스트 이해 능력을 갖춘 30.5B MoE 인스트럭션 튜닝 모델입니다.

모델 ID 사용

API를 호출할 때 모델을 지정하려면 앞선 표에 있는 Model ID를 사용하세요. 예를 들면 다음과 같습니다:

response = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct",
    messages=[...]
)

다음 단계

모델을 선택한 후에는 다음 리소스 중 하나를 계속 진행하세요:

각 모델의 사용 한도 및 가격을 확인하세요.
이 모델을 사용하는 방법은 API 레퍼런스를 참조하세요.
W&B 플레이그라운드에서 모델을 사용해 보세요.

응답 설정

튜토리얼

API 레퍼런스

정식 출시된 모델

실험 단계 모델

사용 중단된 모델

모델 ID 사용

다음 단계

​정식 출시된 모델

​실험 단계 모델

​사용 중단된 모델

​모델 ID 사용

​다음 단계

정식 출시된 모델

실험 단계 모델

사용 중단된 모델

모델 ID 사용

다음 단계