스텝그리드는 사용자가 신고로 보내는 경우를 제외하면 대화 내용을 기기 밖으로 보내지 않습니다.그러다 보니 모델이 실제로 무슨 말을 했는지는 저도 볼 수가 없습니다.그래도 대화가 잘 되고 있는지는 알아야 해서, 내용 대신 숫자로 품질을 짐작할 수 있는 값들을 하나씩 붙여 왔습니다.문자열을 아예 못 담게 타입으로 막아 둔 이야기는 서버 LLM 대신 온디바이스 LLM 을 고른 이유와 대가 에 적었고, 여기서는 그 안에 무엇을 담았는지 정리해 보려고 합니다.대신 보는 숫자지금 대화 품질을 보려고 쓰는 값들은 대략 이렇습니다. 값보려는 것 응답 시간 구간과 초 한 턴이 얼마나 느린가. 구간과 실제 초를 같이 보낸다 턴 모양 되묻기만 하는 턴..

온디바이스 AI/설계 판단 2026. 10. 22. 07:00

프롬프트 한 줄을 고칠 때마다 폰을 연결하고 앱을 빌드해서 대화를 돌리는 게 생각보다 번거로웠습니다.폰이 손에 없으면 아예 확인을 못 했습니다.그래서 8월 7일부터 평가를 두 경로로 나눴습니다.프롬프트를 여러 번 고쳐 보는 건 PC 에서 하고, 안전과 응답 시간은 폰에서만 판정합니다.둘로 나누면서 얻은 것도 있었지만, 경로마다 결과가 다르게 나오는 문제도 같이 생겼습니다.에뮬레이터를 쓰지 않은 이유처음에는 안드로이드 에뮬레이터를 먼저 떠올렸습니다.같은 앱, 같은 모델 파일을 그대로 쓸 수 있으니까요.그런데 막상 보니 걸리는 게 많았습니다.앱은 RAM 4GB 미만 기기를 지원하지 않는 기기로 걸러 내는데, 에뮬레이터는 설정을 손봐야 이 기준을 넘습니다.칩 정보도 알 수 없는 칩으로 잡혀서, 고사양 기기에만..

온디바이스 AI/설계 판단 2026. 10. 19. 07:00

스텝그리드는 걸으면서 고민을 정리하는 앱이고, 대화 상대는 폰 안에서 도는 Gemma 4 E2B 입니다.처음 대화 엔진을 만들 때는 대화의 흐름을 모델이 알아서 잡아 줄 거라고 생각했습니다.결과적으로는 반대로 갔습니다.지금은 이번 턴에 질문을 할지, 해석을 내놓을지, 답을 줄지를 모델이 아니라 코드가 정합니다.거기까지 오는 데 두 달쯤 걸렸고, 그 사이에 바꾼 것들을 순서대로 정리해 보려고 합니다.세 단계 틀7월 21일 아침에 만든 첫 엔진은 대화를 세 단계로 나눴습니다.고민을 정의하고, 넓혀 보고, 정리하는 순서입니다.단계마다 고를 수 있는 선택지를 두세 개씩 내게 했습니다.작은 모델은 출력 형식에서 쉽게 벗어나니까, 틀을 단단하게 잡아 두면 덜 흔들릴 거라고 봤습니다.그런데 실제로 써 보니 세 턴이면..

온디바이스 AI/설계 판단 2026. 10. 17. 21:37

스텝그리드는 AI 가 폰 안에서만 돌아서, 위험한 대화를 서버에서 한 번 더 걸러 줄 곳이 없습니다.그래서 안전은 앱이 직접 챙겨야 했습니다.저는 이걸 프롬프트나 모델에 맡기지 않고, 모델 밖에 코드로 된 가드를 두는 쪽으로 정리했습니다.가드를 나눈 방식과 스트리밍 중 처리, 가드를 세는 방법까지 적었습니다.가드가 무엇에 반응하는지는 우회 방법이 될 수 있어서 적지 않았습니다.확인은 7월 중순부터 8월 중순까지 갤럭시 S25(SM-S938N)와 갤럭시 S10 5G(SM-G977N) 실기기로 했습니다.프롬프트로 안 되던 것스텝그리드는 걸으면서 엉킨 생각을 정리하는 앱이고, 대화 상대는 Gemma 4 E2B 입니다.산책하면서 털어놓는 이야기라 대화가 무거운 쪽으로 가는 일이 꽤 있습니다.혼자 걸으면서 쓰는 ..

온디바이스 AI/설계 판단 2026. 10. 9. 07:00

스텝그리드는 작은 모델이 이상한 답을 내면 한 번 더 생성하게 해 두었습니다.그런데 30턴 대화를 돌려 보니, 다시 생성한 턴은 그렇지 않은 턴보다 다섯 배쯤 느렸습니다.그래서 품질 때문에 다시 생성할 때 쓰던 시간 예산을 45초에서 8초로 줄이고, 한 턴에 한 번까지만 하게 바꿨습니다.대신 같은 말을 되풀이하는 턴이 늘었습니다.처음에 45초로 잡은 건 저사양 기기 때문이었고, 그 측정은 갤럭시 S10 온디바이스 LLM 응답 44초 글에 있습니다.그 글에는 안전 가드에 걸린 답도 다시 생성한다고 적었는데, 코드를 다시 보니 틀린 설명이라 그 글도 같이 바로잡았습니다.숫자는 전부 갤럭시 S25(SM-S938N)에서 Gemma 4 E2B 로 잰 값입니다.같은 대본의 30턴 대화를 자동으로 돌렸습니다.측정한 ..

온디바이스 AI/설계 판단 2026. 10. 6. 07:00

모델을 폰 안에서 돌리기로 정하고 나니, 다음은 어떤 모델을 몇 개나 넣을지였습니다.한동안은 한국어 특화 모델 둘과 Gemma 4 두 개를 같이 두고 있었습니다.지금은 Gemma 4 E2B 와 E4B 한 계열만 남겼습니다.처음 라인업처음에는 Qwen 계열 세 개(0.6B · 1.5B · 4B)로 시작했습니다.7월 중순에 Gemma 4 E2B 와 E4B 를 더했습니다.7월 18일에 대화 케이스 스물세 개를 실기기에서 돌려 봤고, 그 결과로 Qwen 계열을 전부 뺐습니다. 모델 기기 통과 안전 질문 Gemma 4 E2B 갤럭시 S25 19/23 위험하다고 경고 Gemma 4 E2B ..

온디바이스 AI/설계 판단 2026. 10. 3. 07:00

스텝그리드에 AI 대화를 붙이면서 제일 먼저 따져 본 것은 AI 를 어디서 돌릴지였습니다.서버에 둘지, 사용자의 폰 안에 둘지입니다.저는 폰 안에서만 돌리기로 했고 지금까지 그대로 가고 있습니다.이번 글에는 그렇게 정한 이유와 그 때문에 생긴 비용을 정리해 보려고 합니다.스텝그리드는 걸으면서 엉킨 생각을 정리하는 앱입니다.산책을 시작할 때 고민을 한 줄 적으면 걷는 동안 AI 가 되묻습니다.AI 는 구글의 LiteRT-LM 위에서 도는 Gemma 4 E2B 이고, 모델 파일은 약 2.4GB 입니다.처음 원칙세 가지 방식을 표로 놓고 비교한 문서는 사실 남아 있지 않습니다.비교를 하기 전에 원칙이 먼저 정해져 있었습니다.7월 12일에 쓴 첫 설계 문서의 목표는 광고 없음, 네트워크 통신 없음이었습니다.그때..

온디바이스 AI/설계 판단 2026. 9. 30. 07:00

Jetpack Compose 로 화면을 나누고 Activity 는 하나만 두는 앱에서 GA4 화면 보고서를 열면, 화면이 열 개든 스무 개든 목록에는 MainActivity 한 줄만 올라와 있습니다. screen_view 를 직접 보내는 것만으로는 부족하고, screen_class 를 화면마다 다르게 채운 다음 자동 화면 수집을 꺼야 한다는 것입니다. 이 글에서는 그 원인 두 가지와, 화면 이름을 중복도 누락도 없이 보내는 자리를 정리합니다. 다루는 범위는 Firebase Analytics 로 GA4 에 화면을 보내는 경우이고, BigQuery 내보내기로 원본 이벤트를 직접 파는 이야기는 다루지 않습니다. 등록해야 비로소 제대로 도는 성질은 안드로이드 다른 곳에도 있는데, 그쪽 이야기는 Room 마이그레..

Android 기록/트러블슈팅 2026. 9. 18. 07:00