Wesley's Dev Log

이 연재의 마지막 편입니다. 남은 이야기 둘을 적고, 여덟 편을 돌아보며 마치겠습니다. 앞 편에서는 작은 모델이 형식을 안 지킬 때를 적었습니다. 남은 둘은 프롬프트를 어떻게 관리하느냐와, 사용자가 이상한 것을 적었을 때 어떻게 하느냐입니다. 프롬프트도 코드입니다 처음에는 프롬프트를 코드 안에 문자열로 박아뒀습니다. 고칠 일이 별로 없을 줄 알았습니다. 착각이었습니다. 이 연재에서 다룬 문제 대부분이 프롬프트를 고쳐서 나아졌습니다. 형식을 안 지키는 것도, 답이 너무 긴 것도 그랬습니다. 그러니까 가장 자주 바뀌는 부분이었습니다. 그래서 지금은 이렇게 다룹니다. 프롬프트를 한곳에 모읍니다. 여기저기 흩어져 있으면 무엇을 고쳤는지 모릅니다버전을 붙입니다. 답이 이상해졌을 때 언제부터인지 알아야 합니다바꾸면..

온디바이스 알아가기/LiteRT-LM 으로 앱 만들기 2026. 9. 8. 07:20

모델이 올라가고 대화가 되기 시작하면 다음 욕심이 생깁니다. 답을 화면에 그대로 뿌리는 게 아니라 프로그램이 읽고 싶어집니다. 이 대화를 요약해서 제목과 태그 세 개를 뽑아달라는 식입니다. 그러려면 정해진 형식으로 받아야 하는데, 여기서 한참 고생했습니다. 대체로 지킵니다. 가끔 안 지킵니다 "JSON 으로만 답해줘"라고 하면 대체로 잘 지킵니다. 문제는 가끔입니다. 스무 번에 한 번쯤 이런 게 옵니다. 어떻게 어긋나나실제로 온 모양앞에 말이 붙는다네, 요약해드릴게요. {title: ...코드블록으로 감싼다```json 으로 시작해서 ``` 로 끝난다뒤가 잘린다닫는 괄호가 없이 끝난다따옴표가 둥근 따옴표로 온다" 대신 “ 와 ” 가 섞인다필드를 하나 빠뜨린다태그 셋을 달랬는데 둘만 온다 스무 번에 한 번..

온디바이스 알아가기/LiteRT-LM 으로 앱 만들기 2026. 9. 8. 07:10

GPU 로 모델을 올리려는데 초기화부터 실패하는 기기가 있습니다. 앞 편까지는 잘 돌아갈 때의 이야기였습니다. 이번에는 아예 안 켜지는 경우입니다. 그리고 이게 낡은 폰이 아니라 최신 폰에서 난다는 게 이 편의 요지입니다. 백엔드를 고를 수 있습니다 모델을 올릴 때 무엇으로 계산할지 정합니다. 소스를 열어보면 고를 수 있는 것이 이렇게 있습니다. Backend.CPU(threadCount = 4)Backend.GPU()Backend.NPU(nativeLibraryDir = "...")Backend.GOOGLE_TENSOR() 여기서 자연스럽게 GPU 를 고르게 됩니다. 빠를 것 같으니까요. 저도 그렇게 했습니다. 최신 폰에서 안 켜집니다 저장소의 공개 이슈를 훑다가 놀랐습니다. GPU 초기화가 실패한다는..

온디바이스 알아가기/LiteRT-LM 으로 앱 만들기 2026. 9. 8. 07:00

지금까지 말로 합의한 것은 왜 사라지나부터 여섯 편에 걸쳐 AX 를 적었습니다. 이번 글은 그 방식을 몇 달 굴려본 뒤의 이야기입니다. 솔직히 말씀드리면, 안 지켜진 쪽이 더 흥미로웠습니다. 잘된 것만 적으면 이 연재가 광고가 되니, 반대쪽을 더 자세히 적겠습니다. 지켜진 것 먼저 살아남은 것부터 적겠습니다. 첫째, 사람 이름 폴더는 끝까지 남았습니다. 아침에 내 폴더만 열면 오늘 할 일이 보이는 구조는 지금도 그대로 씁니다. 이게 남은 이유는 지키는 데 노력이 안 들어서라고 봅니다. 문서를 만들 때 어디 둘지 고민할 필요가 없으니, 안 지킬 이유가 없습니다. 둘째, 맨 위 다섯 줄도 남았습니다. 이건 앞 글에서 적었듯이 검사를 걸어서 남은 것입니다. 검사가 없었으면 진작 무너졌을 겁니다. 셋째, AI ..

AX 알아가기 2026. 9. 7. 07:20

모델을 올려 대화를 시작하고 나면 한동안은 잘 됩니다. 그런데 대화를 길게 이어가면 답이 이상해집니다. 앞에 한 이야기를 잊거나, 뜬금없는 소리를 하거나, 갑자기 짧아집니다. 이 글은 그게 왜 그런지 알아내는 과정에 대한 것입니다. 결론부터 말씀드리면, 공식 문서에 답이 없었습니다. 둘로 나뉘어 있습니다 먼저 구조를 정리하겠습니다. LiteRT-LM 은 무거운 것과 가벼운 것을 이름으로 갈라 놓았습니다. EngineConversation무엇을 들고 있나모델 가중치대화 하나의 상태무게무겁다가볍다몇 개하나여러 개 공식 문서도 이렇게 안내합니다. Engine 을 하나 만들어 두고, 그것으로 Conversation 을 하나 또는 여럿 만들라는 것입니다. Conversation 을 세션을 관리하는 대리인이라고 ..

온디바이스 알아가기/LiteRT-LM 으로 앱 만들기 2026. 9. 7. 07:10

앞의 두 글에서 AI 에게 무엇을 읽힐지를 적었습니다. 규칙과 배경 문서 이야기였습니다. 이번에는 반대쪽입니다. 몇 번 데어보고 선을 그은 것들이 있습니다. 미리 말씀드리면, AI 가 못 해서 안 맡기는 게 아닙니다. 오히려 꽤 잘하는데 안 맡기는 것들입니다. 기준은 틀렸을 때 알 수 있나입니다 선을 그으면서 처음엔 난이도로 나누려고 했습니다. 쉬운 건 맡기고 어려운 건 내가 하는 식입니다. 잘 안 됐습니다. 어려운 것도 잘 해내는 경우가 많았고, 쉬운 걸 이상하게 하는 경우도 있었습니다. 제 사견으로는 다른 기준이 낫습니다. 결과가 틀렸을 때 내가 알아챌 수 있는가입니다. 알아챌 수 있으면 맡깁니다. 못 알아채면 안 맡깁니다. 난이도와는 상관이 없습니다. 일틀리면 알 수 있나맡기나테스트가 있는 코드 고..

AX 알아가기 2026. 9. 7. 07:00

AI 에게 일을 시키다 보면 같은 설명을 반복하게 됩니다. 이 프로젝트는 모듈이 넷이고로 시작하는 그 설명입니다. 규칙을 문서로 주면 AI 가 지킵니다에서 규칙 이야기를 했는데, 규칙만으로는 안 되는 게 있었습니다. 무엇을 하지 마라는 규칙으로 되는데, 여기는 원래 이렇게 생겼다는 규칙이 아닙니다. 이 글은 그 배경 지식을 따로 문서로 둔 이야기입니다. 규칙 문서가 부풀기 시작했습니다 처음에는 전부 한 파일에 넣었습니다. 규칙도, 프로젝트 구조 설명도, 자주 쓰는 명령어도 거기 넣었습니다. 한 달쯤 지나니 150줄이 넘었습니다. 그때부터 이상한 일이 생겼습니다. 중요한 규칙을 안 지키기 시작했습니다. 문서에 분명히 적혀 있는데도 그랬습니다. 한참 보다가 짐작이 갔습니다. 하지 마라와 이건 이렇게 생겼다가..

AX 알아가기 2026. 9. 6. 07:20

앞 편에서 돌릴 수 있는 폰인지 가르는 이야기를 했습니다. 이번에는 그다음, 파일을 받는 일입니다. 그냥 내려받으면 되는 거 아닌가 싶으실 텐데, 저도 그렇게 생각하고 시작했습니다. 2.4GB 는 그냥 내려받아지지 않았습니다. 먼저 스토어에 같이 넣는 길부터 막혔습니다 앞 편에서 이 이야기를 한 문단으로 짧게 짚었는데, 이번에는 숫자까지 적어보겠습니다. 가장 편한 건 앱에 모델을 넣어 같이 배포하는 것입니다. 받는 코드를 안 짜도 되고, 파일이 없을 때를 고민하지 않아도 됩니다. 그런데 Google Play 에는 크기 상한이 정해져 있습니다. 무엇상한 (압축 기준)기본 모듈500MB에셋 팩 하나1.5GB설치 시점에 함께 받는 것 합계4GB앱 전체(나중에 받는 것 포함)34GB 기본 모듈 500MB 에는 ..

온디바이스 알아가기/LiteRT-LM 으로 앱 만들기 2026. 9. 6. 07:10