정리를 위한 블로그

import pandas as pd
pd.options.display.float_format = '{:.5f}'.format

contains 사용시 __contains__ 로

str_list = ['abc','ggg','eft','abs','asd']

for v in str_list:
	if v.__contains__('a'):
    	print(v)

scipy.stats를 이용한 list value rank 만들기

import scipy.stats as ss
target = [1,42,12]
list(ss.rankdata(target))
# [1,3,2]

통계분석 기초에 대한 리마인드를 위해, 누구나 파이썬 통계분석 이라는 책을 보고 있는데 유용한 코드가 나와서 기록

포아송 분포는 scipy.stats.poisson으로 호출이 가능하지면, 수식을 보기위해 기록

import numpy as np
from scipy import stats

# 기댓값
def E(X, g=lambda x:x):
    x_set, f = X
    return np.sum([g(x_k) * f(x_k) for x_k in x_set])
# 분산
def V(X, g=lambda x:x):
    x_set,f = X
    mean = E(X,g)
    return np.sum([(g(x_k)-mean)**2 * f(x_k) for x_k in x_set])
# 확률변수를 인수로 가지며, 확률변수가 확률의 성질을 만족하는지 확인하고,
# 기댓값과 분산을 계산하여 반환하는 함수
def check_prob(X):
    x_set, f = X
    prob = np.array([f(x_k) for x_k in x_set])
    assert np.all(prob >= 0), 'minus probability'
    prob_sum = np.round(np.sum(prob),6)
    assert prob_sum == 1, f'sum of probability{prob_sum}'
    print(f'expected value {E(X):.4}')
    print(f'variance{V(X):.4}')
    
#---------------------------------------------#

# 포아송 분포
from scipy.special import factorial

def Poi(lam):
    x_set = np.arange(20)
    def f(x):
        if x in x_set:
            return np.power(lam,x) / factorial(x)*np.exp(-lam)
        else:
            return 0
    return x_set, f
lam = 3
X = Poi(lam)
check_prob(X)

import pandas as pd
pd.options.display.max_columns = 300

import pandas as pd
df = pd.read_csv("data.csv")
pd.to_datetime(df['date+col']).dt.date
pd.to_datetime(df['date+col']).dt.month
pd.to_datetime(df['date+col']).dt.hour

df[['col1','col2']].value_counts().rename_axis(['col1','col2']).to_frame('counts')

df = pd.read_csv("")

df.loc[df['column'] == 'target', 'column'] = 'change_target'

https://sarah0518.tistory.com/77

설명이 잘 되어있음

GridSearch와 동일한 방식으로 사용하지만, 모든 조합을 시도하지 않고 각 반복마다 임의의 값만 대입해 지정한 횟수만큼 평가

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import RandomizedSearchCV

X = []
Y = []

xtrain, xtest, ytrain, ytest = train_test_split(X,Y,random_state=1234)
rf = RandomForestClassifier()

n_estimators = [int(x) for x in np.linspace(start = 200, stop = 2000, num = 10)]
max_features = ['auto', 'sqrt']
max_depth = [int(x) for x in np.linspace(10, 110, num = 11)]
max_depth.append(None)
min_samples_split = [2, 5, 10]
min_samples_leaf = [1, 2, 4]
bootstrap = [True, False]

random_grid = {'n_estimators': n_estimators,
               'max_features': max_features,
               'max_depth': max_depth,
               'min_samples_split': min_samples_split,
               'min_samples_leaf': min_samples_leaf,
               'bootstrap': bootstrap}
print(random_grid)

rf_random = RandomizedSearchCV(estimator = rf, param_distributions = random_grid, n_iter = 100, cv = 3, verbose=2, random_state=42, n_jobs = -1)
# Fit the random search model
rf_random.fit(xtrain,ytrain)

best_random = rf_random.best_estimator_

best_random.score(xtest,ytest)