728x90 반응형 parser2 urllib.parse.quote, urllib.parse.urlencode urllib.parse.quote는 URL에서 한글 및 특수 문자를 퍼센트 인코딩(percent encoding)으로 변환하는 함수. URL에 대한 이해가 없다면 다음을 참고:https://dsaint31.tistory.com/entry/CE-URL-URI-and-UNC [CE] URL, URI and UNCURI or URLURI는 Uniform Resource Identifier의 abbreviation 이고, URL은 Uniform Resource Locator의 abbreviation임.인터넷 또는 WAN 상에서 특정 resource(HTML, 이미지, 동영상 등을 resource라고 지칭함)에 접근할 목적으로 해dsaint31.tistory.com기본 문법urllib.parse.quote(st.. 2025. 8. 6. [Etc] Token and Tokenizer Token의 의미문장을 구성하는 (최소)의미 단위. 일반적으로 하나의 word가 token에 해당하며,영어에서는 whitespace character(공백문자) 및 punctuation mark 등을 구분자(delimiter)로 하여 나눈 결과들을보통 token이라고 부름.TokenizerToken으로 나누는 처리를 하는 component (or object)를 가르킴.Parser라는 용어로도 사용되는 경우가 많음.Tokenize (~parsing)는 결국 문장을 token으로 분해하는 처리를 의미하는데, 이를 수행하는 object를 tokenizer라고 함.참고한국어는 보통 tokenize를 할 때,띄어쓰기 외에도 조사,어미 등을 고려한 음절 등으로 처리해야 하며,때문에 영어에 비해 token의 수가 .. 2023. 12. 6. 이전 1 다음 728x90 반응형
