GPT-Live-1.1로 AI 에이전트에 음성 기능 추가하기

AI 에이전트에 목소리를 부여하고 싶으신가요? GPT-Live-1.1 위임 기능이 음성 요청을 팀에서 이미 운영 중인 코딩 에이전트에 전달하는 방법을 알아보세요.

Ashley Innocent

Ashley Innocent

20 11월 2026

GPT-Live-1.1로 AI 에이전트에 음성 기능 추가하기

TL;DR: AI 에이전트에 음성 기능을 부여하려면 OpenAI의 GPT-Live-1.1을 음성 프런트엔드로 앞세우고, 실제 작업은 이미 운영 중인 에이전트에 그대로 맡기세요. GPT-Live는 말하면서 동시에 듣고, 위임(delegation)을 통해 추론과 도구 호출을 백엔드에 넘깁니다. 클라이언트 위임 모드에서는 앱이 각 위임 요청을 받아 웹훅을 통해 Sharkly Automation을 실행하고, 그 결과를 음성으로 다시 전달합니다.

GPT-Live-1.1이란?

GPT-Live-1.1은 OpenAI의 전이중(full-duplex) 다국어 음성 모델입니다. 말하는 동시에 들을 수 있어서, 사람이 동료의 말을 끊듯이 모델의 말을 끊을 수 있습니다. v1/live/sessions 엔드포인트에서 동작하며, 함수 호출(function calling)과 스트리밍을 지원하고, 추론과 도구 사용을 백엔드 에이전트에 위임할 수 있습니다.

OpenAI의 GPT-Live-1.1 모델 페이지에 따르면, 이 모델은 GPT-Live-1보다 음성 전사 정확도가 높고, 여러 언어에서도 억양과 목소리를 더 일관되게 유지합니다. 입력과 출력은 오디오와 텍스트이며, 이미지는 직접 받지 못합니다.

에이전트 팀에게 중요한 부분은 바로 위임입니다. 음성 모델은 대화를 위해 설계된 것이지, 20분짜리 리팩토링을 실행하기 위한 것이 아닙니다. 그런 작업은 다른 무언가에 넘기고, 결과를 기다리는 동안에도 대화를 이어갑니다.

팀이 이미 공유 보드에서 코딩 에이전트에게 작업을 할당하고 있다면, Sharkly가 바로 그 "다른 무언가"가 될 수 있습니다. 이 가이드의 나머지 부분에서 연결 방법을 보여드리겠습니다.

음성 에이전트에 백엔드 팀이 필요한 이유

음성 인터페이스에는 빡빡한 지연 시간 예산이 있습니다. 사람들은 대략 1초 안에 응답을 기대하며, 그보다 긴 침묵은 고장 났다고 느껴집니다. 하지만 실제 에이전트 작업은 이 창 안에 들어맞지 않습니다. 저장소를 읽거나, 테스트를 돌리거나, 대기열을 분류하는 데는 몇 분이 걸립니다.

따라서 모든 것을 스스로 처리하려는 음성 에이전트는 두 가지 방식 중 하나로 실패합니다. 빠르지만 얕은 답을 하거나, 생각하는 동안 조용해져 버리는 것입니다. 회의에 가면서 어제 밤 에이전트 실행이 통과했는지 알고 싶은 상황이라면 어느 쪽도 쓸모가 없습니다.

해결책은 텍스트 환경에서 이미 쓰고 있을 수 있는 분리 구조입니다. 대화를 담당하는 빠른 프런트엔드와 실제 작업을 수행하는 느린 백엔드로 나누는 것입니다. GPT-Live는 이 분리를 API 자체에 내장하고 있습니다. 저희의 에이전트 간, 에이전트-사람 간 인계(handoff) 패턴 포스트를 읽으셨다면, 여기에 마이크가 붙은 동일한 패턴이라고 이해하시면 됩니다.

GPT-Live 위임의 동작 방식

GPT-Live에는 두 가지 위임 모드가 있으며, 세션을 생성할 때 선택합니다. 모드를 바꾸려면 새 세션을 시작해야 합니다.

Responses 위임 클라이언트 위임
백엔드 실행 주체 OpenAI (Responses API를 통해) 여러분의 애플리케이션
설정 delegation.type: "responses"와 model, instructions, tools delegation.type: "client"
백엔드 모델 설정한 모델(예: gpt-6-luna) 호출할 수 있는 무엇이든
결과 반환 방식 OpenAI가 처리 session.commentary.append 또는 session.thinking.append
적합한 용도 OpenAI가 실행할 수 있는 조회 및 도구 호출 여러분의 자체 시스템에 있는 작업

Responses 위임은 더 짧은 경로입니다. 백엔드 모델을 지정하면 OpenAI가 나열한 도구와 함께 그 모델을 실행합니다. 위임 가이드는 gpt-6-luna로 시작하고, 더 복잡한 백엔드 작업에는 gpt-6-sol을 시도해 보라고 권합니다.

클라이언트 위임은 이미 운영 중인 에이전트를 위한 경로입니다. 음성 모델이 도움이 필요하다고 판단하면, 앱은 위임 ID가 포함된 session.delegation.created 이벤트를 받습니다. 이 이벤트에는 사용자의 발화가 담기지 않으므로, 앱은 전사(transcript) 이벤트와 자체 상태를 바탕으로 요청을 재구성해야 합니다. 작업이 끝나면 동일한 위임 ID로 결과를 다시 보내면 GPT-Live가 그 내용을 음성으로 표현합니다.

패턴: GPT-Live가 말하고, 에이전트 팀이 일한다

Sharkly 위에 음성 프런트엔드를 얹었을 때의 전체 구조는 다음과 같습니다. Sharkly는 코딩 에이전트(Claude Code, Codex, Gemini CLI 등) 위에서 작업이 할당되고, 연결된 컴퓨터에서 실행되며, 검토되는 계층 역할을 합니다. 음성 모델은 저장소를 직접 건드리지 않습니다. 작업을 요청할 뿐이고, 보드가 그 기록을 남깁니다.

GPT-Live-1.1 음성 세션이 요청을 작은 백엔드 앱에 위임하고, 백엔드 앱은 빠른 답변을 위해 Sharkly 보드를 읽고 에이전트 또는 크루 실행을 시작하려고 Automation 웹훅을 호출하는 구조도

세 가지 요청 유형이 음성 에이전트에게 에이전트 팀 관련 질문의 대부분을 커버합니다:

  1. 상태 질문 ("야간 테스트 실행 통과했어?"). 백엔드가 sharkly CLI로 보드를 읽고 몇 초 안에 답합니다.
  2. 새 작업 ("에이전트한테 간헐적으로 실패하는 로그인 테스트 좀 봐달라고 해"). 백엔드가 Sharkly Automation 웹훅을 호출하고, 에이전트 또는 크루가 실행을 시작합니다.
  3. 결정 ("머지해 줘"). 백엔드는 거부하고 어디서 검토해야 하는지 안내합니다. 음성은 변경 사항을 승인하기에 부적합한 채널입니다.

세 번째 규칙은 설계상의 선택이지, 어느 제품의 한계도 아닙니다. 말로 하는 "응"은 잘못 들을 수 있고 감사(audit)하기도 어렵습니다. 승인은 증거가 있는 곳에 두세요. 이 내용은 휴먼인더루프 코딩 에이전트 가이드에서 자세히 다룹니다.

AI 에이전트에 음성 부여하기: 단계별 설정

1단계: Automation과 웹훅 트리거 생성

Sharkly에서 Automation은 반복 가능한 에이전트 또는 크루 작업을 위한 Space 소유 정의입니다. 지침, 담당자, 트리거, 실행 기록으로 구성됩니다. 웹훅 트리거는 외부 서비스의 POST 요청을 받는 시크릿 URL을 생성합니다. Automations 문서에 따르면 전체 URL은 트리거를 생성하거나 재생성할 때 딱 한 번만 표시되므로, 즉시 시크릿으로 저장하세요.

지침과 테스트용 Run now 버튼이 있고, Webhook URL active로 표시된 웹훅 트리거가 있는 Sharkly Automation

지침은 에이전트가 트리거 페이로드에서 요청을 읽고, 결과를 태스크 코멘트로 기록하도록 작성하세요. 무엇을 변경할 수 있고 언제 사람이 결정해야 하는지 명시하세요. 그런 다음 Run now로 음성 트래픽을 연결하기 전에 에이전트와 컴퓨터를 테스트하세요. Sharkly의 Automation 워크스루에서 더 다양한 트리거 유형을 확인할 수 있습니다.

2단계: 클라이언트 모드로 GPT-Live 세션 생성

세션 설정에서 음성 모델을 지정하고 클라이언트 위임을 활성화합니다. acknowledgement_delay_ms 설정은 GPT-Live가 일반적인 확인 응답을 말하기 전에 앱이 자체 업데이트를 보낼 시간을 확보해 줍니다.

export const session = {
  model: "gpt-live-1.1",
  instructions:
    "You are the voice front end for an engineering team's agent board. " +
    "Delegate status questions and new work requests. Never approve, merge, or deploy.",
  delegation: {
    type: "client",
    acknowledgement_delay_ms: 800,
  },
};

OpenAI는 브라우저, 모바일, 서버 앱의 오디오에 WebRTC를 권장하며, WebSockets도 지원되는 대안입니다. 연결 설정은 GPT-Live 시작 가이드에서 다룹니다.

3단계: 각 위임을 Sharkly로 라우팅

session.delegation.created가 도착하면 위임 ID를 저장하고, 전사 내용으로 요청을 재구성한 뒤 어떤 경로로 처리할지 판단합니다. 다음 Node 스케치는 새 작업은 Automation 웹훅으로 보내고, 상태 질문은 보드에서 답변합니다.

import { execFile } from "node:child_process";
import { promisify } from "node:util";
const run = promisify(execFile);

const WEBHOOK_URL = process.env.SHARKLY_AUTOMATION_WEBHOOK_URL!; // stored secret

async function handleDelegation(connection, delegationId: string, request: string) {
  // Quiet note so the voice model knows work started; not spoken on append.
  connection.send({
    type: "session.thinking.append",
    event_id: `start_${delegationId}`,
    delegation_id: delegationId,
    content: "Request received. Checking the agent board.",
  });

  if (isStatusQuestion(request)) {
    const { stdout } = await run("sharkly", ["task", "list", "--status", "In Progress", "--output", "json"]);
    const tasks = JSON.parse(stdout);
    return speak(connection, delegationId, `${tasks.length} tasks are in progress right now.`);
  }

  const res = await fetch(WEBHOOK_URL, {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ source: "voice", request }),
  });
  if (!res.ok) {
    return speak(connection, delegationId, "I couldn't start that run. Nothing was assigned.");
  }
  return speak(connection, delegationId, "An agent run has started. The result will land on the board.");
}

function speak(connection, delegationId: string, content: string) {
  connection.send({
    type: "session.commentary.append",
    event_id: `result_${delegationId}`,
    delegation_id: delegationId,
    content, // 500-token limit per append
  });
}

음성 답변이 약속하는 내용에 주목하세요. 이 답변은 실행이 시작되었다고 말할 뿐, 작업이 완료되었다고 말하지 않습니다. OpenAI의 가이드도 예약(bookings)에 관해 같은 점을 강조합니다. 실제 동작이 성공한 후에만 결과를 전달하세요.

4단계: 결과는 귀가 아니라 보드에서 확인

에이전트 실행에는 몇 분이 걸리고, 음성 세션은 작업이 끝나기 전에 종료될 수 있습니다. 따라서 보드가 기록입니다. 에이전트가 태스크에 결과를 게시하고, 실행 기록에 트리거 페이로드와 출력이 남으며, 사람이 그 자리에서 검토합니다. 다음에 "간헐적으로 실패하던 테스트 어땠어?"라고 물으면, 상태 경로가 그 결과를 다시 읽어 줍니다.

미리 계획해야 할 비용과 제한

항목 GPT-Live-1.1 (OpenAI 문서, 2026-11-20)
엔드포인트 v1/live/sessions
활성 세션 분당 $0.05
대기(Standby) 분당 $0.02 (추론이 일시 중지된 WebRTC 세션)
과금 시간 기준. OpenAI 가격 페이지에 따르면 GPT-Live는 초 단위로 과금
동시 세션 GPT-Live-1과 별도의 제한. 조직의 제한 페이지 참조
백엔드 호출 설정된 모델의 일반 요율로 과금

활성 요율 기준으로 10분짜리 스탠드업 체크인은 백엔드 호출 비용과 별개로 음성 시간에 $0.50이 듭니다. 참고로 GPT-Live-1 모델 페이지는 Build, Launch, Grow 티어에서 각각 50, 300, 500개의 동시 세션을 제공하고, Free 티어에서는 접근이 불가능하다고 명시합니다. GPT-Live-1.1에는 자체적인 제한이 있습니다.

Sharkly 측의 에이전트 실행은 각 런타임에 이미 연결된 Claude Code, Codex 또는 API 플랜으로 과금됩니다. Sharkly는 토큰을 판매하지 않습니다. 상태 질문을 저렴한 백엔드 모델로 라우팅하려면 Sharkly에서 GPT-6 Luna 에이전트 실행하기 노트가 그대로 적용됩니다.

첫날부터 추가하면 좋은 가드레일

  • 끼어들기가 작업을 취소하지 않습니다. OpenAI 가이드에 따르면 음성 대화를 끊는다고 백엔드 작업이 멈추지 않습니다. 누군가 "괜찮아, 됐어"라고 말하면 백엔드가 이를 처리해야 하며, 그렇지 않으면 실행이 계속됩니다.
  • 웹훅 URL을 비밀번호처럼 취급하세요. Sharkly 문서는 이를 기본적으로 bearer 시크릿으로 설명합니다. 서명 시크릿을 추가하고, URL이 유출되면 재생성하세요.
  • Automation의 범위를 제한하세요. Sharkly 문서의 조언대로 관찰 가능하고 되돌릴 수 있는 작업으로 시작하고, 범위를 넓히기 전에 여러 번의 실행을 검토하세요.
  • 크루 위임은 Sharkly 내부에 유지하세요. 하나의 요청에 여러 에이전트가 필요하다면 웹훅을 Sharkly 크루로 향하게 하고, 크루 리더가 작업을 분배하도록 하세요.

음성 프런트엔드가 잘못된 도구인 경우

요청이 이해되려면 diff, 로그, 스크린샷이 필요하다면 음성은 건너뛰세요. 음성으로는 실패한 테스트를 보여줄 수 없습니다. 서명이 필요한 모든 것에도 음성은 부적합한 채널입니다. 승인, 배포, 접근 권한 변경은 증거가 있는 태스크 위에서 이루어져야 합니다.

음성이 빛을 발하는 경우는 빠른 상태 확인, 잘 정의된 실행 시작, 손이 바쁠 때의 순간들입니다. 에이전트 보드의 대체재가 아니라 리모컨 정도로 생각하세요.

결론

GPT-Live-1.1은 직접 구축하기 어려운 음성 에이전트의 부분, 즉 끼어들기가 가능한 전이중 대화를 담당합니다. 위임은 나머지 모든 것을 백엔드에 넘깁니다. 기존 에이전트 팀을 그 백엔드 뒤에 두면, 실행 결과를 소리 내어 물어보고 새 실행을 시작할 수 있으며, 모든 결과는 여전히 사람이 검토하는 보드에 기록됩니다.

다음 단계: Sharkly에서 웹훅 트리거가 있는 Automation을 하나 만들고, Run now로 테스트한 뒤, 클라이언트 모드 GPT-Live 세션을 그쪽으로 향하게 하세요. Sharkly 문서에서 에이전트, 컴퓨터, Automation을 자세히 다룹니다.

FAQ

AI 에이전트에 음성을 부여하려면 어떻게 하나요?

GPT-Live-1.1 같은 음성 모델을 에이전트 앞에 두고 위임하게 하세요. 음성 모델이 듣고 말하는 일을 처리하고, 백엔드가 에이전트를 실행한 뒤 음성 모델이 말할 짧은 결과를 반환합니다.

GPT-Live-1.1은 API에서 사용할 수 있나요?

네. OpenAI는 gpt-live-1.1을 v1/live/sessions 엔드포인트, 함수 호출, 스트리밍과 함께 제공합니다. v1/realtime이나 v1/responses는 직접 지원하지 않습니다.

GPT-Live-1.1 비용은 얼마인가요?

OpenAI 기준으로 활성 세션은 분당 $0.05, 대기 상태는 분당 $0.02입니다. 위임을 통해 이루어진 백엔드 모델 호출은 해당 모델의 일반 요율로 별도 과금됩니다.

Responses 위임과 클라이언트 위임의 차이는 무엇인가요?

Responses 위임에서는 OpenAI가 설정된 백엔드 모델을 실행합니다. 클라이언트 위임에서는 앱이 각 요청을 받고, session.commentary.append 또는 session.thinking.append로 결과를 반환합니다.

GPT-Live-1.1이 코딩 에이전트를 직접 실행할 수 있나요?

아니요. 위임만 합니다. 백엔드가 무엇을 실행할지 결정합니다. 예를 들어 연결된 컴퓨터에서 에이전트 또는 크루 실행을 시작하는 Sharkly Automation 웹훅을 호출하는 방식입니다.

작업 중에 음성 에이전트를 끊으면 어떻게 되나요?

대화는 멈추지만 백엔드 작업은 멈추지 않습니다. 취소는 백엔드에서 처리하세요. 예를 들어 실행을 일시 중지하거나 태스크에 코멘트를 남기는 방식입니다.

더 둘러보기

오픈소스 Slack 대안: ExitPath로 Slack에서 떠나는 방법

오픈소스 Slack 대안: ExitPath로 Slack에서 떠나는 방법

오픈 소스 Slack 대안을 찾고 있나요? ExitPath가 Mattermost, Zulip, Element로 옮길 때 무엇을 고려해야 하는지, 그리고 에이전트 작업이 유실되지 않게 하는 방법을 확인해 보세요.

20 11월 2026

GPT-6.2 Astra vs Fable 5.2: 내 리포지토리에서 직접 테스트해보세요

GPT-6.2 Astra vs Fable 5.2: 내 리포지토리에서 직접 테스트해보세요

GPT-6.2 Astra vs Fable 5.2: 코딩 에이전트를 어느 모델에 맡겨야 할까? 같은 가격의 토큰이 비용을 어떻게 나누는지 비교하고, 두 모델을 내 저장소에서 직접 테스트해 보세요.

20 11월 2026

GPT-6.2 요금 정리: Astra와 Sol을 에이전트 팀에서 쓸 때 비용은 얼마?

GPT-6.2 요금 정리: Astra와 Sol을 에이전트 팀에서 쓸 때 비용은 얼마?

GPT-6.2 가격이 에이전트 팀 운영 비용에 어떤 영향을 미치는지 궁금하신가요? Astra와 Sol의 작업당 비용을 확인하고, 지출을 관리해 주는 상한 한도도 함께 알아보세요.

20 11월 2026