정리를 위한 블로그

pd.read_csv('file',thousands=r',')

df.loc[:, (df != 0).any(axis=0)]

import pandas as pd
from functools import reduce
dfs = [df0, df1, df2, dfN]
df_final = reduce(lambda left,right: pd.merge(left,right,on='key'), dfs)

기록

dataframe row append 코드

df = pd.DataFrame(columns=['col1','col2','col3'])
data = [1,2,3]
df = df.append(pd.Series(data,index=df.columns), ignore_index=True)
print(df)
#  col1 col2 col3
#0    1    2    3

흔히 말하는 Big data 크기의 데이터를 다룰 일이 거의 없다보니 pandas를 이용해서 data를 load 하고 사용하는데 크게 불편한적은 없었다. 다만 이것저것 준비하는 과정에서 수십기가짜리 csv파일을 read_csv로 그냥 호출하면 메모리가 터지는 경우를 자주 볼 수 있었다. 그러다 찾은것이 바로 chunk size!

pandas에 read_csv를 보면 chunksize라는 파라미터가 있다. 

import pandas as pd
df_chunk = pd.read_csv(r'/inputpath/file.csv', iterator=True, chunksize=1000000)

df = pd.concat([chunk for chunk in df_chunk])

아래 사이트에서 잘 설명중

http://acepor.github.io/2017/08/03/using-chunksize/

dictionary를 pandas dataframe으로 만들 때 종종 나는 error.

이유는 모든 value가 scala로 되어있기 때문이라고 한다.

간단히 pd.DataFrame(target_dict, index=[0])

이걸 넣어주면 해결. 그 외에 다른 방법은 아래 블로그에 잘 설명되어있음

https://rfriend.tistory.com/482