728x90 반응형 token3 Hugging Face Access Token 생성 및 권한 설정 가이드 Access Token이란?Hugging Face Access Token은Hugging Face의 다양한 서비스에프로그래밍 방식으로 접근하기 위한 인증(Authentication) 수단임.즉,CLI(Command Line Interface)나 Python 코드에서Hugging Face Hub에 접근할 때,사용자 인증을 위해 Access Token이 필요함.Access Token이 필요한 경우상황설명모델/데이터셋 업로드push_to_hub() 등으로 저장소에 파일 업로드 시비공개 저장소 접근Private repository의 모델이나 데이터셋 다운로드 시Gated 모델 사용Llama, Gemma 등 접근 승인이 필요한 모델 다운로드 시Inference API 호출Serverless Inference API.. 2026. 3. 5. PAT를 통한 authentication for GitHub PAT란Personal Access Token의 약어로,기존의 GitHub 계정 password 대신에 사용되는 긴 문자열 Token임.HTTPS 프로토콜로 git push / pull 할 때,password 자리에 PAT를 넣으면 인증이 됨.현재 보안 문제로 password 를 통한 push / pull 은 안되는 상황이므로 이를 대체하는 방법임. 비밀키 / 공개키 기반의 authentication 을 권장하나...Token이 직관적인 측면이 있어서 password 처럼 이용하는 이들도 있음 키 관련해서 다음을 참고:더보기2023.12.27 - [utils/git and github] - [github] ssh 키 등록하기. [github] ssh 키 등록하기.Github 계정에 사용할 ssh 키 만들.. 2026. 1. 14. [Etc] Token and Tokenizer Token의 의미문장을 구성하는 (최소)의미 단위. 즉, token은 텍스트를 모델 등으로 처리할 때, 의미 단위 또는 규칙 기반으로 분할하는 최소 입력 단위에 해당함 일반적으로 하나의 word가 token에 해당하며,영어에서는 whitespace character(공백문자) 및 punctuation mark 등을 구분자(delimiter)로 하여 나눈 결과들을보통 token이라고 부름.좀 더 깊이 들어가면 subword 기반의 token이 현재는 대세로 자리를 잡은 상태임.자세한 건 다음을 참고:https://ds31x.github.io/wiki/nlp/tokenization/TokenizerToken으로 나누는 처리를 하는 component (or object)를 가르킴.Parser라는 용어로도 사용.. 2023. 12. 6. 이전 1 다음 728x90 반응형
