조금 과장해서 말하면 도입 이후의 거의 모든 것이 과소평가되고 있다고 생각합니다. 대부분은 “일단 도입부터 해보자”는 생각으로 서비스를 만들고, 문제가 생기면 다음에 더 좋은 모델이 나오면서 자연스럽게 해결될 것이라고 기대합니다. 하지만 모델의 성능이 좋아진다고 해서 시스템의 문제가 저절로 해결되는 것은 아닙니다.

무엇보다 현재 시스템을 제대로 평가할 수 없다면 모델을 바꾸더라도 무엇이 얼마나 좋아졌는지 알 수 없습니다. 결국 서비스를 만드는 시점부터 무엇을 평가할 것인지, 문제가 발생했을 때 어떻게 관찰하고 통제할 것인지를 함께 설계해야 합니다.

■ 데브심층탐구‍

• • [후기] 나는 하네스 깎는 노인이 되었다 1: 은총알은 없다
    하루아침에 완성되는 은총알(silver bullet)은 없어. AI 시대에도 말야. 매일 아침, 첫 출근한 신입사원 챙기듯 업무 설명을 반복하지 않고 3년쯤 같이 일한 팀원처럼 ‘척하면 척’ 일하는 AI를 만들기 위해 매일 조금씩 하네스를 ‘깎아온’ 개발자의 경험담을 공유해. AI가 필요한 정보를 스스로 찾아갈 수 있는 환경을 만들어주는 것. 내 AI만 유독 바보같다고 느껴진다면, 오늘부터 하네스를 조금씩 깎아보는 건 어떨까?

• • [정보] LLM에게 어디까지 맡길 것인가: AI 에이전트 기반 광고 분석 리포트 자동화
    AI가 마법 같이 일을 알아서 하는건 언제쯤일까? 일단 지금은 아닌거 같아. AI로 무언갈 만들고, 검증하고, 운영하는 전체 과정에는 아직 사람의 손이 많이 필요해. AI 에이전트로 분석 시스템을 만든 개발자도 실제 운영에서는 프롬프트보다 실행과 검증이 더 중요하다는 걸 깨달았대. 특히 ➀LLM과 코드의 책임 분리 ➁에이전트의 자율성 조정 ➂컨텍스트 범위 설정 ④품질 측정이라는 네 가지 교훈을 얻었지. LLM이 잘하는 일과 틀리면 안 되는 일을 구분하는 것, 에이전트 설계는 여기서부터 시작하는지도 몰라.

• • [정보] 모든 LLM을 관점별로 싸우게 한 코드 리뷰, Code Review War
    LLM 하나한테 코드 리뷰를 맡기면 어떨까? 아무래도 그 모델이 잘 보는 관점에 치우치기 쉽지. 그래서 아예 여러 LLM에게 서로 다른 역할을 주고 같은 코드를 리뷰하게 한 다음, 다시 심판 역할의 LLM이 의견을 검증하도록 붙여봤대. 모델마다 잘 보는 부분이 다르다는 걸 이용해서 말야. AI의 답을 그대로 믿기보다, 여러 관점을 부딪치게 하고 다시 검증하는 것. 코드 리뷰도 이제 ‘누가 더 잘 맞히나’를 넘어서 ‘어떻게 검증할까’가 중요한 시점이야.

• • [정보] 10분 만에 Jev 이해하기
    지금 대부분의 사람이 AI 에이전트를 쓰는 방법은 마치 천재를 데려다가 하루 종일 ‘A or B’ 도장만 찍게 하는 것과 같대. 단순한 O, X 판단에도 매번 크고 비싼 LLM을 부르니까. 그래서 등장한 게 결정만 빠르게 해주는 모델인 ‘Jev’야. 빠르고 반복적인 판단은 Jev에게, 복잡한 추론은 프론티어 LLM에게 나누어 시키는 거지. AI에게 통째로 일을 맡기는 데서 한발 더 나아가, 이제는 각자의 환경과 역할에 맞게 AI를 설계해서 써야 한다는 게 점점 더 중요해지는 것 같아.

• [정보] 때로는 오버엔지니어링이 필요합니다
  초당 1건도 안 되는 메시지 시스템에 CDC와 Kafka까지 붙였다면, 누가 봐도 “이거 너무 과한 거 아냐?” 싶겠지. 그런데 이 팀에서는 일부러 과하게 느껴지는 구조를 선택했대. 레거시를 한 번에 갈아엎는 위험보다 한동안 복잡함을 감수하는 편이 더 안전하다고 판단했기 때문이지. 중요한 건 복잡하게 만드는 게 아니라 왜 필요한지, 언제 걷어낼지를 미리 정해두는 것. 때로는 오버엔지니어링도 꽤 합리적인 선택이 될 수 있어.

■ 독자탐구생활‍

• • 
    <실전 AX 리포트> by gonasoo 님
    결국 AX에서 중요한 질문은 ‘우리 회사에서 어떤 AI를 사용할까?’보다 ‘AI가 있다면 지금 이 일을 왜 여전히 이런 방식으로 하고 있어야 할까?’에 더 가까울지도 모르겠다. 반복해서 복사하고 붙여 넣는 일은 없는지, 같은 내용을 여러 시스템에 입력하고 있지는 않은지, 사람이 매번 찾아보지만 일정한 규칙이 있는 업무는 없는지 다시 살펴보게 된다. 기존 프로세스에 AI 버튼 하나를 추가하는 것이 아니라, AI가 있다는 전제에서 업무의 흐름을 다시 그려보는 것이다.
    ​

• 
  <AI 시대, 부모로 살아가기> by 해피빈이 님
  개발자로 일하면서 AI를 많이 사용하고 있지만, 내가 AI를 잘 사용하는 것과 아이에게 AI를 잘 사용하도록 가르치는 것은 다른 문제라는 것을 생각하게 되었다. 앞으로 아이들이 살아갈 세상에서 AI를 사용하지 않는 것은 현실적으로 어려울 것이다. 그렇다면 AI를 무조건 막기보다는 AI의 답을 그대로 받아들이지 않고, 자신의 생각을 더 발전시키는 도구로 사용할 수 있도록 알려주는 것이 부모의 역할이지 않을까 싶다. AI 시대에 아이를 키우면서 비슷한 고민을 하고 있는 부모라면 한 번쯤 읽어볼 만한 책이다.
  ​

■ 데브주요뉴스‍

• • 속도조절론 속 쏟아진 신모델…AI 3사 승부처는
• • 측정할 수 없으면 개선할 수 없다 – AI Pick 추천 카드를 위한 sLLM 정렬 학습기
• • 귀여운 상시 작동 에이전트, dots를 소개합니다
• • 개인화 추천을 위한 랭킹 모델 개발기
• • AI 네이티브 시대의 ‘일머리’ 있는 사람을 뽑는 법
• • 개인정보 ‘상시 유출’의 시대… “불법정보 끝까지 추적해야”
• • Jev로 판단하고 AWS DevOps Agent로 조사하는 AI 팀원 만들기
• • 조태호 교수 신간, 아마존 신간 베스트 2위 기염…”K-IT 기술서, 세계 표준 되다”
• • [오프라인 행사] 『바로 보는 AI 사주』 원데이 클래스 (10/16)