여기고 저기고 다양한 도메인에서 LLM을 도입하는 게 트렌드인가 싶은 시절. 근데말이지 프롬프트에 “절대 가격을 깎아주지 마”, “경쟁사 언급 금지”라고 강조해도 이 녀석들이 말을 안 들어서 속 터진 기억 하나쯤 있으려나. 실제로 미국의 한 자동차 판매점이 챗봇한테 프롬프트만 쥐여줬다가, 쉐보레 자동차를 1달러에 사겠다는 사용자 말에 챗봇이 ‘동의한다’고 덜컥 대답해버린 일이 있었데. 물론 실제로 그 가격에 자동차를 판매한 건 아니지만, 기업에서 제공하는 챗봇이 그런 대답을 했다는 것은 대략 난감한 일이야.

이걸 보고 단순히 ‘프롬프트를 덜 깎아서 그래’라고 생각하면 곤란할 거 같아. 프롬프트는 ‘친절한 부탁’에 가깝지, 무조건 지켜야 하는 강제 규칙이 아니니까. 결제 한도나 금전적인 제약처럼 진짜 선을 넘으면 안 되는 조건들은 프롬프트가 아니라 단단한 코드로 직접 막아야 하지 않을까 싶어. 모델이 헛소리하기 직전에 정신 번쩍! 차리게 ‘가드레일’을 입력과 출력, 액션 단계 곳곳에 세워둘 필요가 있다는 소리지.

게다가 AI 시스템은 엉뚱한 구석이 있어서, 모니터링 툴에 정상이라는 표시를 띄우고 있어도 정작 속으로는 데이터가 오염되어서 품질이 조용히 무너질 때도 있고. 똑똑하게 일하라고 자율적인 에이전트를 만들어 놨더니, 자기네들끼리 묻고 답하는 무한 루프에 빠져서 11일 동안 무려 6천만 원이 넘는 비용을 태워버린 무시무시한 일화도 있어.

AI 서비스를 실제 프로덕션 환경에 어떻게 안전하게 올릴 수 있을지 고민이 참 많을 요즘, 특히 도움이 될만한 글이 있어서 가져왔어. 이제는 ‘어떤 모델이 제일 똑똑한가’를 따지는 시기를 지나서, ‘모델이 틀렸을 때 우리 시스템이 어디서 안전하게 멈추는가’를 설계하는 게 진짜 실무의 핵심이라는 사실! 무작정 프롬프트만 고치며 두더지 게임을 하기보다는 체계적인 평가와 코드 기반의 가드레일을 고민해 보자구.

완벽한(?) 프롬프트로 만든 AI 시스템이 폭망하는 이유는요…

■ IT 스냅샷: 이달의 화두는?‍

• “3,000달러짜리 개인 PC용 AI가 클로드 넘었다”…알리바바 오픈소스에 개발자들 발칵
  수백만 줄의 낡은 레거시 코드 파악은 생각만 해도 아찔한 일이잖아. 근데 로컬 LLM이라면, 이제 AI 서버 터졌다고 전 세계 개발자가 강제 티타임을 갖던 것도 그때 그 시절이 되어 버릴 날이 올까.
• AI 플라이휠로 한눈에 보는 AI 생태계 : AI 산업은 어떻게 하나의 바퀴로 연결되는가
  “반도체가 풀려야 데이터센터가 커지고, 데이터센터가 커지려면 전력이 필요하고, 전력이 풀려야 AI 모델이 강해지고, AI 모델이 강해져야 자동차가 스스로 달릴 수 있다. 하나의 산출이 다음 단계의 연료가 되는 구조. 어디선가 본 패턴… AI 산업에도 플라이휠이 있다.”
• AI-Driven Development의 시대 : 디자인 시스템 4.0을 에이전트 루프로 만들기
  코드는 AI가 짜고, 나는 승인만 하면 된다 해서 세팅해 놨는데 뭔지 모를 찝찝함이 엄습해 온 기억을 떠올려. 몇 번 써보다 괜찮겠다 싶어서 무심코 읽기 권한과 쓰기 권한을 같이 줬는데, 에이전트가 DROP TABLE을 실행했… 엉엉. AI 에이전트를 프로덕션 레벨에서 다룰 때 가장 무서울 ‘환각에 의한 대참사’를 시스템적으로 방어하기 위해서는 ‘읽기’와 ‘실행’을 확실하게 분리하는 게 좋데. 엉엉.
• AI가 코드를 쓰는 시대, 프로덕트 중심 엔지니어가 던져야 할 질문 4가지
  “예를 들어 알고리즘을 더 빠르게 만들 수 있다고 해서 반드시 지금 최적화해야 하는 것은 아닙니다.” 0.1초 단축하려 밤샜는데 유저는 아무도 모른다고? 헛, 오버엔지니어링에 대한 고민이 필요한 시점일지도 몰라.
• 에이전트 코딩의 황금기 : 바겐세일은 끝난다
  “build.gradle.kts를 열면 10초면 알 수 있는 걸, ‘이 프로젝트 자바 버전이 뭐지?’ 하고 모델에게 묻는다….요금제가 월 $125일 때 직접 코딩하는 능력을 잃는다. 그러다 요금제가 월 $400가 되고, $1,000가 되고…” 편리함에 취해 개발 근육이 조용히 빠져나가고 있는 건 아닌지 점검이 필요한 시기.
• AI 에이전트, 자율에 맡길까 절차로 통제할까
  “이미 검증된 절차가 있는데 매번 에이전트에게 순서를 새로 고민하게 하면, 시간과 비용만 들고 실행 경로가 들쭉날쭉해집니다…그래서 ‘어느 쪽이 더 낫다’가 아니라 ‘어느 쪽이 이 업무에서 덜 비싼가’로 봐야 합니다.”
• 웹뷰 다음의 레일을 깔다: 당근이 Lynx를 선택한 이유
  “우리가 정말 풀고 싶었던 문제는 로딩 시간을 몇 밀리초 더 줄이는 데 있지 않았습니다. 사용자가 로딩을 느끼지 못하게 만들고 싶었습니다.” 밀리초 단위 벤치마크 점수에 집착하느라 진짜 중요한 사용자의 체감 속도를 놓치고 있진 않은지 깨닫게 된 당근 프론트엔드코어팀의 고민을 엿볼 수 있어.

■ 독자탐구생활‍

• 
  <바이브 코더를 위한 최소한의 AI/IT 지식> by 색감여행자 님
  보통 IT 입문서들은 용어 설명에만 집중하다 보니 읽다가 지치는 경우가 많은데, 이 책은 개념을 생활 속 비유로 풀어낸다. 예를 들어 프론트엔드와 백엔드를 식당의 홀과 주방으로 설명하거나, 로컬 환경과 배포 환경의 차이를 “내 방에 걸어둔 그림”과 “전시회에 공개된 그림”의 차이처럼 표현한다. 이런 설명 방식 덕분에 단순히 암기하는 느낌이 아니라, 시스템의 구조를 이미지처럼 이해하게 된다. 특히 CORS 같은 개념은 개발자들에게도 꽤 헷갈리는 영역인데, 브라우저가 출입 명부를 확인하는 보안 관리자처럼 동작한다는 비유는 꽤 직관적이었다.
  ​
• 
  <트랜스포머 아키텍처로 배우는 AI 에이전트 with 랭체인 & 랭그래프> by 토오오끼 님
  제목에 ‘랭체인 & 랭그래프’가 큼지막하게 박혀 있어서 가벼운 실습서를 기대하고 펼쳤다가, 1장부터 한 대 맞는 느낌을 받았다. 이 책은 도구 사용법을 빠르게 훑는 책이 아니다. 오히려 절반 이상을 자연어 처리와 딥러닝의 기초 이론에 쏟는다. 토큰화, 임베딩에서 시작해 강화학습, RNN, LSTM, seq2seq, 어텐션을 거쳐 트랜스포머까지 차곡차곡 쌓아 올린 다음에야 비로소 랭체인과 랭그래프가 등장한다. 요즘 AI 책들은 대체로 기본 개념은 슬쩍 건너뛰고 “이렇게 쓰면 됩니다” 하는 사용법, 활용법 위주로 흘러간다. 빠르게 결과물을 내기엔 좋지만, 정작 안쪽에서 무슨 일이 벌어지는지는 끝내 모르고 지나가게 된다. 그런 흐름 속에서 이 책은 꽤 보기 드문 선택을 한다. 딥러닝의 기초부터 트랜스포머 아키텍처까지, 필수 기본 개념을 하나하나 빼놓지 않고 짚고 넘어간다. 이런 책이 점점 귀해지는 시대라, 그 점만으로도 반가웠다.
  ​

■ 데브주요뉴스‍

• • 5년 뒤 개발자 더 늘어난다…아틀라시안 CEO, ‘AI 개발자 대체론’ 일축
• • AI로 인건비 줄였으니 사업비 깎자?…무지가 넘친다
• • AI 쓴 티 난다는 글, 정확히 어디가 문제일까? | AI 초안 검토 기준 8가지
• • AI로 QA 업무를 자동화한 방법: n8n부터 E2E 테스트 자동화까지
• • 우리 팀만의 vLLM 플러그인 만들기 : 검색 AI 모델 서빙 성능 극대화하기
• • AI Agent를 위한 OpenSearch 검색 품질 평가하기
• • 기존 PM과 AI PM의 결정적 차이 3가지 : 모든 PM은 AI PM이 된다
• • 기술을 사용하는 사람에서, 이해하고 설계하는 사람으로 | 2026 우수학술도서 선정 도서 5종

에디터 OTL_ 똑똑… 입추 지난거 맞아요? 하늘은 좀 높아졌나, 문득 고개들어 가늠해보기.