태그: 온디바이스 AI
해당 태그가 달린 모든 글 "온디바이스 AI".
Sentis 워크플로 6단계: 문서 코드가 생략한 소유권과 블로킹
Sentis 공식 워크플로 문서는 여섯 단계짜리 뼈대다. 그 뼈대가 생략한 것 — Resources 폴더, 텐서 소유권, 결과를 읽는 줄에서 발생하는 GPU 대기 — 를 같은 문서의 다른 페이지와 대조해 정리했다.
Ollama 응답이 길었던 건 답변이 길어서가 아니다
Ollama API를 훑은 메모를 공식 문서와 대조했다. 답변이 너무 길다던 것의 원인은 stream 하나인데, 원문은 세 가지를 한꺼번에 바꿔서 원인이 셋으로 나뉘어 있었다.
ML-Agents 설치 문서 읽기: 파이썬 3.10.12는 권장이 아니라 상한이다
ML-Agents 설치 절차가 왜 이렇게 까다로운지를 툴킷이 두 조각으로 나뉜 구조에서 짚었다. Conda와 3.10.12 지정의 이유, Unity 패키지와 Python 패키지의 버전 짝, 그리고 Sentis와 Inference Engine이라는 두 이름까지.
Sentis에서 텐서 데이터에 직접 접근하기: 리드백을 피하는 이유와 방법
온디바이스 추론의 병목은 대개 추론 자체가 아니라 GPU와 CPU 사이의 데이터 이동이다. Sentis가 그걸 줄이려고 제공하는 API를 정리했다.