본문 바로가기
728x90
반응형

Python157

[Python] bytes and bytearray: Binary Data for Python Python에서 bytes와 bytearray는 binary data를 byte 단위 (1byte = 8bit)로 다루는데 사용되는 Data Type임. bytes: bytes 는 immutable byte sequence 로서 일종의 byte로 구성된 tuple에 해당 함. byte literal은 다음과 같이 b라는 prefix를 사용함. b'Hello'은 'Hello'라는 문자열에 대한 byte literal을 의미함. 문자열에 대한 bytes 이므로 encoding이 사용되며 기본으로 utf8이 사용됨. byte literal과 같이 추후 변경이 되지 않는 binary data를 위한 데이터 타입이 bytes임. bytes 객체를 출력할 경우, utf8인 경우에는 ascii에 해당하는 바이트는 a.. 2024. 1. 15.
[python] Text mode vs. Binary mode: File open Python에서 특정 파일을 open하는 경우,text mode 또는 binary mode 중 하나로 열게 된다. 이 둘의 차이점은 간단히 설명하면,현재 open하고자 하는 file을 text파일로 처리할지아니면 binary파일로 처리할지를 결정하는 것임.1. binary mode 로 file을 여는 경우,Python은 해당 file을 순수한 bytes의 형태로 취급함.해당 파일을 byte 단위로 읽어들이면서어떠한 변환없이 file에 기재된 bytes 의 값들을 그대로 읽어들임.2.  text mode로 file을 여는 경우,사람이 읽을 수 있는 문자들로 구성된 text file이라고 생각하며,file의 bytes 값들을 사람이 읽을 수 있는 문자로 표시 하기 위한 encoding 방식에 따라 bytes.. 2024. 1. 15.
[pandas] 데이터 타입에 따른 column 추출 DataFrame의 경우, dtypes attribute를 통해 각 column의 data type을 가지고 있음. (Series 형임) DataFrame객체들을 서로 빼주는 등의 연산을 할 때, numberic type이 아닌 column이 있을 경우 문제가 발생함. 때문에 numberic type으로 구성된 columns를 추출해야 하는 경우가 있음. 다음의 코드를 참고할 것. import pandas as pd df = pd.DataFrame( { "test_id" : [ 0, 1, 2, 3, 4, 5], "test_int": [ 10, 20, 30, 40, 50, 60], "test_obj0": [ "a", "b", "c", "d", "e", "f"], "test_float": [0., 1., 2.. 2024. 1. 12.
[pandas] merge 예제. 2024.01.12 - [Python] - [pandas] DataFrame 합치기 : concat 과 merge [pandas] DataFrame 합치기 : concat 과 merge Pandas에서 merge와 concat은 DataFrame 를 합치는(결합하는) 데 사용되는 방법. merge: SQL join과 유사함. 두 DataFrame 간의 공통 column이나 index를 기준 column ( on parameter)으로 삼아 결합 inner, outer, left, right 다 ds31x.tistory.com merge는 특정 column을 기준으로 하는 데이터프레임 결합이 필요한 경우 이용됨. 이 경우 사용되는 column은 on parameter를 통해 지정한다. # merge Dat.. 2024. 1. 12.
[pandas] DataFrame 합치기 : concat 과 merge Pandas에서 merge와 concat은 DataFrame 를 합치는(결합하는) 데 사용되는 방법. merge: SQL join과 유사함. 두 DataFrame 간의 공통 column이나 index를 기준 column ( on parameter)으로 삼아 결합 inner, outer, left, right 다양한 join 조인 타입을 지원 (how parameter)함. 때문에 합쳐지는 DataFrame이 다른 columns를 갖는 경우가 많음. 주로 column based conjunction 에 사용됩니다. 다음의 code snippet을 참고하라 (기본으로 inner join이 사용된다.) # Load Library import pandas as pd # Create DataFrame studen.. 2024. 1. 12.
[Term] ETL Tools "ETL Tools" 에서 ETL은 Extract, Transform, Load 의 약자로, 데이터를 다루는 세 가지 주요 과정을 의미함. 이들은 대규모 데이터를 다루는데 사용되는 Tool로써 다음과 같은 세가지 과정을 효과적으로 수행할 수 있게 해주는 도구를 가르킴. Extract (추출): 데이터를 원본 소스(예: 데이터베이스, CRM 시스템, 파일 등)에서 가져오는 과정. 이 과정에서 다양한 형식과 구조를 가진 데이터를 수집. Transform (변환): 추출된 데이터를 필요에 맞게 변환하는 과정. 데이터를 정제, 표준화, 결합, 분리 등의 작업을 통해 분석 가능한 형태로 만. 이는 데이터의 품질을 향상시키고, 분석에 적합하게 데이터를 조정하는 과정을 포함. Load (로드): 변환된 데이터를 최종.. 2024. 1. 10.
728x90
반응형

티스토리툴바