728x90 반응형 ML17 Hugging Face 캐시 디렉터리 구조 정리 Hugging Face에서 다음을 호출할 경우, 관련 파일들이 로컬 캐시에 저장됨:from_pretrained()pipeline()Local cache에 저장되는 관련 파일들은 다음과 같음:model file,tokenizer file,전처리 설정 file주의할 것은이들 file을 단순히 한 폴더에 캐싱하는 것이 아니라,Git의 저장소와 비슷한 형태의 구조로 저장됨:refssnapshotsblobs이같은 구조를 통해 같은 file의 중복 다운로드를 막고, branch나 revision이 달라도 이전 버전을 다시 사용할 수 있게 함. 대표적인 구조는 대략 다음과 같음.~/.cache/huggingface/ └─ hub/ └─ models--{org}--{repo_name}/ ├─ refs/.. 2026. 3. 18. RL: non-associative setting vs associative setting 1. Non-associative Setting (비연합적 설정)가장 단순한 형태의 강화학습(RL).Environment에서 상태(State)의 변화가 없음. 대표적으로 Multi-armed Bandit (MAB) 문제가 여기에 해당.상태 ($S$): 단일 state($|S|=1$)만 존재. 어떤 action을 해도 state가 변하지 않음.상태 전이(transition) 확률 ($P$): state가 하나뿐이므로 다음 state로 전이될 확률이 항상 1: $P(s|s, a) = 1$). 정책 ($\pi$): agent는 state를 고려할 필요 없음 단순히 어떤 action($a$)이 가장 좋은지만 결정하면 충분학습의 핵심: 특정 상황(=state)과 action을 연결(Associate)할 필요가 없.. 2026. 3. 6. Hugging Face Access Token 생성 및 권한 설정 가이드 Access Token이란?Hugging Face Access Token은Hugging Face의 다양한 서비스에프로그래밍 방식으로 접근하기 위한 인증(Authentication) 수단임.즉,CLI(Command Line Interface)나 Python 코드에서Hugging Face Hub에 접근할 때,사용자 인증을 위해 Access Token이 필요함.Access Token이 필요한 경우상황설명모델/데이터셋 업로드push_to_hub() 등으로 저장소에 파일 업로드 시비공개 저장소 접근Private repository의 모델이나 데이터셋 다운로드 시Gated 모델 사용Llama, Gemma 등 접근 승인이 필요한 모델 다운로드 시Inference API 호출Serverless Inference API.. 2026. 3. 5. HF-TrainingArgument TrainingArguments 는 Hugging Face Trainer의 실행 환경을 정의하는 선언적 설정 객체. 다음이 자동 구성됨:Optimizer 생성Scheduler 생성DataLoader 설정(Automatic) Mixed precision 설정분산 학습 설정평가/저장 정책체크포인트 관리 전략1. 기본 시그니처 구조대표적인 주요 인자와 기본값은 다음과 같음.TrainingArguments( # 체크포인트/로그 저장 경로. # args 미지정 시 Trainer가 tmp_trainer를 사용 가능(Trainer 기본 동작). output_dir: str | None = None, # v5.2 TrainingArguments 시그니처에 없음(제거).. 2026. 2. 21. JAX (Just After eXecution)소개 JAX는수학적 함수(pure function)를 개발자가 작성하면,이를 인자로 받아 자동 미분, JIT 컴파일, 벡터화·병렬화를 적용한 새로운 함수를 반환해 주는 function들을 제공.이를 고성능 수치 계산을 가능하게 하는 함수 변환 라이브러리임ㅣ 딥러닝 프레임워크의 기반이 되어주는 라이브러리로 볼 수 있음.JAX는기존 딥러닝 프레임워크와 사고방식 자체가 다른 도구이며,특히 이론·연구·수식 중심 작업에 매우 잘 맞는 도구로 알려짐.1. JAX (Just After eXecution) 소개JAX의 fully qualified name은 다음과 같음:Just After eXecution이는 “코드를 실행한 직후에 필요한 변환(미분, 컴파일 등)을 수행한다”는 철학을 반영.JAX는 Google에서 개발·유.. 2026. 1. 16. Deployment 가능한 HF Custom (Vision) Model 만들기 관련자료: https://huggingface.co/docs/transformers/ko/custom_models 사용자 정의 모델 공유하기(번역중) 효율적인 학습 기술들huggingface.co 관련 gist파일https://gist.github.com/dsaint31x/8a49b5d50dac707873af1ef901859e10 dl_custom_img_classifier_hf_deploy.ipynbdl_custom_img_classifier_hf_deploy.ipynb. GitHub Gist: instantly share code, notes, and snippets.gist.github.comIntro.Hugging Face (HF)에서의 deploy(배포)는모델을 특정 폴더(또는 Hub 레포) 형.. 2025. 12. 18. 이전 1 2 3 다음 728x90 반응형
