스마트폰 조작 MCP 폰 하네스, 클로드 연결 방법과 주의점
스마트폰 조작 MCP(AI가 외부 서비스를 직접 쓰게 해 주는 연결 규격)를 쓰면 클로드나 챗GPT가 폰 화면을 보고 누르고 입력하는 작업을 할 수 있다. 오픈소스 폰 하네스(Phone Harness)가 대표적이다. 이 글은 폰 하네스가 무엇이고, 클로드 앱과 클로드 코드에 연결하는 순서, 시작 전에 알아야 할 비용과 안전 문제를 정리했다(2026년 11월 기준).

폰 하네스가 하는 일
폰 하네스는 MIT 라이선스로 공개된 오픈소스다. 코딩 에이전트가 폰 화면을 읽고 스크롤하고 누르고 입력하게 해 준다. 앱 전용으로만 되는 서비스가 있어서 웹 브라우저를 다루는 컴퓨터 사용(computer use)만으로는 부족할 때 폰 쪽을 대신 조작하는 용도다.
연결 방식은 둘로 나뉜다.
- 명령줄(CLI) 방식: 클로드 코드나 코덱스 같은 에이전트가
phone-harness명령을 내 컴퓨터에서 실행한다. 내 아이폰은 맥의 아이폰 미러링 창으로, 내 안드로이드는 adb(안드로이드 개발 도구)로 조작한다. - MCP 방식: 클로드, 챗GPT 등에 사용자 지정 커넥터로 붙인다. 현재 MCP는 폰 하네스 클라우드의 안드로이드와 아이폰에서만 되고, 내 폰은 안 된다.
MCP로 내 폰을 조작할 수 있다고 생각하고 시작했다면 이 차이가 가장 먼저 걸린다. 내 폰을 직접 조작하려면 CLI 방식이고, 아래 연결 순서는 MCP 방식이라 클라우드 폰을 대상으로 한다.
연결하기 전에 확인할 것
- 서버 주소는
https://mcp.phone-harness.com/mcp이다. - 로그인은 OAuth로 하며
phone:drive권한을 요청한다. API 키를 쓰는 방법도 있다. - 클라우드 안드로이드 에뮬레이터는 무료로 시작할 수 있다. 새 계정에 $5 크레딧이 주어지고 이후 폰 사용 시간 1분당 5센트다. 클라우드 아이폰은 월 정액이다. 값은 바뀔 수 있으니 공식 사이트에서 확인한다.
- 클로드 앱의 사용자 지정 커넥터는 무료 요금제도 1개까지 가능하다.
- ChatGPT에서 폰을 조작하려면 Business, Enterprise, Edu 워크스페이스가 필요하다. Pro 계정은 읽기와 가져오기 도구만 쓸 수 있다.
클로드 앱에 연결하기
- 클로드(웹 또는 데스크톱)에서 사용자 지정(Customize)을 연다.
- 커넥터에서 커스텀 커넥터 추가(Add custom connector)를 누른다.
- 이름에 Phone Harness를 넣고 서버 주소를 붙여 넣는다.
https://mcp.phone-harness.com/mcp
- "로그인 없음"이 아니라 로그인 방식을 고르고 추가한다.
- 연결(Connect)을 눌러 폰 하네스 계정으로 로그인한다.
- 대화창의 "+"에서 커넥터를 열어 Phone Harness를 켠다.
Team과 Enterprise에서는 조직 소유자가 조직 설정의 커넥터에 먼저 추가하고, 구성원이 그다음에 연결한다.
클로드 코드에 연결하기
- 터미널에서 다음 명령을 실행한다.
claude mcp add --transport http phone-harness https://mcp.phone-harness.com/mcp
- 클로드 코드 세션에서
/mcp를 입력하고 phone-harness를 골라 로그인한다. - 모든 프로젝트에서 쓰려면
--scope user를 붙여 명령을 다시 실행한다.
연결됐는지 확인하기
- 클로드 앱: 커넥터 목록에서 Phone Harness가 연결됨으로 보이면 된다.
- 클로드 코드: 터미널에서
claude mcp list를 실행해 상태를 본다.
claude mcp list
MCP가 노출하는 도구에는 사용 가능한 기기 목록 보기, 기기 시작과 중지, 화면 캡처, 화면 속 요소 목록, 좌표 누르기·길게 누르기·스와이프, 글자 입력, 앱 목록과 실행이 있다. "사용 가능한 폰 목록을 보여 줘"라고 시키면 도구가 호출되는지 바로 확인된다.
쓸 때의 한계와 주의점
- 글자는 문자 인식(OCR)으로 읽는다. 아이콘만 있는 버튼은 화면 캡처를 보고 판단하는 이미지 인식 모델이 필요하다.
- 멀티터치, 카메라, 얼굴 인식(Face ID) 흐름은 지원하지 않는다. 저작권 보호 영상은 검은 화면으로 보인다.
- 클라우드 폰은 로그인 상태가 실행 사이에 이어진다. 개인 계정을 로그인해 두면 에이전트가 그 계정으로 움직이니, 주문이나 결제처럼 되돌리기 어려운 동작은 단계마다 직접 확인하게 지시한다.
- 폰 연결은 항상 사용자가 직접 한다. 세션을 끝내면 임시 폰과 앱 데이터가 지워지니 작업이 끝나면 세션을 닫는다.
- API 키는 환경 변수나 비밀 저장소에 두고 채팅에 붙여 넣지 않는다.
연결을 끊거나 지우기
- 클로드 앱: 사용자 지정, 커넥터에서 Phone Harness를 제거한다.
- 클로드 코드: 다음 명령으로 지운다.
claude mcp remove phone-harness
자주 묻는 질문
폰 하네스는 무료인가요?
소프트웨어는 MIT 라이선스 오픈소스라 무료다. MCP로 쓰는 클라우드 폰은 사용 시간에 따라 요금이 붙는다. 안드로이드는 시작 크레딧 $5가 있고 이후 분당 과금이며, 아이폰은 월 정액이다.
내 아이폰을 클로드가 조작하게 할 수 있나요?
MCP로는 안 된다. 내 아이폰은 맥의 아이폰 미러링을 쓰는 CLI 방식이 필요하고, macOS 15 이상과 iOS 18 이상 아이폰이 요건이다. 내 안드로이드는 USB 디버깅을 켜고 adb로 연결한다.
배달 앱 주문도 시킬 수 있나요?
앱 화면을 누르고 입력하는 방식이라 앱 전용 서비스도 원리상 조작 대상이 된다. 다만 결제와 주소 같은 민감한 단계는 에이전트에게 끝까지 맡기지 말고 직접 확인한다.
연결이 안 되면 어떻게 하나요?
클로드 코드는 /mcp/mcp
이 글의 본문은 아래 원본 유튜브 영상의 내용을 바탕으로 쓸모연구소가 다시 정리해 쓴 것입니다. 세부 내용과 최신 정보는 원본 영상과 공식 안내에서 확인해 주세요.
원본 영상 보러가기 ↗