df.max()

A     5
B    59
C    vc
dtype: object

df["A"].max()

5

df[["A","B"]].max()

A     5
B    59
dtype: int64

df.corr()

df[["A","B"]].corr()

df.plot(kind="hist")

<matplotlib.axes._subplots.AxesSubplot at 0x11910b7d0>

df.plot(x='A', y='B', kind="scatter")

<matplotlib.axes._subplots.AxesSubplot at 0x11a2fb250>

- 선 그래프는 연속하는 데이터 값들을 직선 또는 곡선으로 연결하여 데이터 값 사이의 관계를 나타낸다
- 특히 시계열 데이터와 같이 연속적인 값의 변화와 패턴을 파악하는데 적합하다.
- 선 그래프는 기본 옵션이기 때문에 옵션을 설정하지 않고 plot 함수를 쓰면 선 그래프가 나온다.

1. 스타일 서식 지정
plt.style.use('ggplot')

2. 그림 사이즈 지정
plt.figure(figsize=(가로숫자,세로숫자))

3. x축, y축 데이터를 plot 함수에 입력 --> 시리즈의 인덱스를 x축 데이터로, 데이터값을 y축데이터로 전달
plt.plot(x축, y축, marker="지정 알파벳", markersize=숫자입력)
#판다스 객체 자체를 plot함수에 입력하는 것도 가능하다. 

4. 그래프 객체에 차트 제목을 추가할 때 title()함수를 이용한다.
plt.title("제목 입력", size=숫자) 

5. 축 이름 추가 
plt.xlabel("x축 이름", size=숫자)
plt.ylabel("y축 이름", size=숫자)

6. matplotlib 한글 문제 해결 --> 해당 코드를 그대로 쓰면 된다.
from matplotlib import font_manager, rc 
font_path = "./폰트파일위치/폰트.ttf"
font_name = font_manager.FontProperties(fname=font_path).get_name()
rc('font', family=font_name)

7. x축, y축 범위 지정 (최솟값, 최댓값)
plt.xlim(최솟값, 최댓값)
plt.ylim(최솟값, 최댓값) 

8. x축 눈금 라벨 회전 / vertical 대신 숫자를 입력해도 된다.
plt.xsticks(rotation= "vertical")

9. 범례표시 / best는 최적의 위치를 선정해주는 자동기능이다. 
plt.legend(labels=["범례 이름"], loc="best", fontsize=숫자)

10. 그래프 출력
plt.show()  

- 유효한 데이터 값이 존재하지 않는 누락 데이터를 NaN으로 표시한다. 
- 누락 데이터 확인
    - df.info()메서드로 데이터프레임 요약정보를 출력하면 NaN 값의 개수를 보여준다. 
    - df["열"].value_counts() 메서드로 특정 열의 누락 데이털르 확인할 수 있다. 
        - 이때 누락 데이터의 개수를 확인하려면 반드시 dropna = False라는 옵션을 적용해야 한다. 그렇지 않으면 NaN값을 제외하고 유요한 데
          이터 개수만을 구한다.
    - df.isnull()메서드와 notnull()메서드를 통해 직접적으로 누락 데이터를 찾을 수 있다. 
        - isnull(): 누락데이터라면 True 반환, 유효한 데이터면 False를 반환
        - notnull(): 유효한 데이터면 True 반환, 누락 데이터면 False를 반환
        - 이때 True는 1로 계산되고 False는 0으로 판별되기 때문에, sum(axis=0) 메소드를 활용하여 True(1)의 합을 구할 수 있다. 
            - print(df.head().isnull().sum(axis=0))

- dropna() 메서드를 적용해 NaN 값을 갖는 행 또는 열을 삭제할 수 있다. 
- subset옵션으로 열을 한정할 수 있다.
- how 옵션으로 NaN값에 따라 삭제 조건을 줄 수 있다.
- 누락 데이터 삭제(기준점): 데이터프레임객체.dropna(axis=0 또는 1, thresh=n)
- 누락 데이터 삭제(조건): 데이터프레임객체.dropna(subset=['열 이름'], how='any' or 'all', axis =0 또는 1)
이때 n은 결측치가 n개 이상인 행 또는 열을 삭제하라는 기준점을 주는 것이다.
how 옵션의 any는 NaN가 하나라도 존재하는 행 또는 열을 삭제하라는 의미고, all은 모든 데이터가 NaN인 경우에만 삭제하라는 의미다. 

import seaborn as sns
df = sns.load_dataset('titanic')

#각 열의 NaN 개수를 계산하기 위해서 for 반복문으로 각 열의 NaN 개수 계산하기. 
missing_df = df.isnull()
for col in missing_df.columns:
    missing_count = missing_df[col].value_counts()
    try:
        print(col,":", missing_count[True]) #NaN값이 있으면 개수 출력
    except:
        print(col,":", 0) #Nan값이 없으면 0개 출력

survived : 0
pclass : 0
sex : 0
age : 177
sibsp : 0
parch : 0
fare : 0
embarked : 2
class : 0
who : 0
adult_male : 0
deck : 688
embark_town : 2
alive : 0
alone : 0

df_thres = df.dropna(axis=1, thresh=500)

print(df_thres.columns)

Index(['survived', 'pclass', 'sex', 'age', 'sibsp', 'parch', 'fare',
       'embarked', 'class', 'who', 'adult_male', 'embark_town', 'alive',
       'alone'],
      dtype='object')

df_age = df.dropna(subset=["age"], how="any", axis=0)

missing_data = df_age.isnull()
for col in missing_data.columns:
    eda = missing_data[col].value_counts()
    try:
        print(col, ":",eda[True])
    except:
        print(col, ":",0)

survived : 0
pclass : 0
sex : 0
age : 0
sibsp : 0
parch : 0
fare : 0
embarked : 2
class : 0
who : 0
adult_male : 0
deck : 530
embark_town : 2
alive : 0
alone : 0

- 누락 데이터를 바꿔서 대체할 값으로는 데이터의 분포와 특성을 잘 나타낼 수 있는 평균값, 최빈값 등을 활용한다. 
- 판다스에서는 fillna() 메소드를 상ㅇ한다.
- 원본 객체를 변경하려면 inplace = True옵션을 추가해야 한다. 
- 평균(Mean)으로 누락 데이터를 바꿔주는 방법을 알아보자. 앞의 예제처럼 승객의 나이 데이터가 누락된 행을 제거하지 않고, 대신 'age'열의 나머
지 승객의 평균 나이로 치환하다. 먼저 'age'열에 들어있는 값들의 평균을 계산하여 mean_age에 저장한다. mean() 메소드를 적용하면 NaN을 제외
하고 평균을 계산한다. fillna() 메소드에 mean_age를 인자로 전달하면 NaN을 찾아서 mean_age값으로 치환한다. 

import seaborn as sns 
df = sns.load_dataset('titanic')
print(df['age'].head(10))
print('\n')
mean_age = df['age'].mean(axis=0)
df["age"].fillna(mean_age, inplace=True)

#age 열의 첫 10개 데이터 출력(5행에 NaN값이 평균으로 대체)
print(df['age'].head(10))

import seaborn as sns

df = sns.load_dataset('titanic')

# embark_town 열의 829행의 NaN 데이터 출력
print(df['embark_town'][825:830])
print('\n')

# embark_town 열의 NaN값을 승선도시 중에서 가장 많이 출현한 값으로 치환하기. 
most_freq = df["embark_town"].value_counts(dropna=True).idxmax()
print(most_freq)
print('\n')

df['embark_town'].fillna(most_freq, inplace=True)

#embark_town열 829행의 NaN 데이터 출력(NaN값이 most_freq값으로 대체)
print(df['embark_town'][825:830])

825     Queenstown
826    Southampton
827      Cherbourg
828     Queenstown
829            NaN
Name: embark_town, dtype: object


Southampton


825     Queenstown
826    Southampton
827      Cherbourg
828     Queenstown
829    Southampton
Name: embark_town, dtype: object

import seaborn as sns
df = sns.load_dataset('titanic')
df['embark_town'].fillna(method='ffill', inplace=True)

df['embark_town'].value_counts(dropna=True)

Southampton    644
Cherbourg      169
Queenstown      78
Name: embark_town, dtype: int64

- 동일한 관측값이 중복되는지 여부, 즉 행의 레코드가 중복되는지 여부를 확인하려면 duplicated()메소드를 이용한다. 전에 나온 행들과 비교하여 
중복되는 행이면 True를 반환하고, 처음 나오는 행에 대해서는 False를 반환한다.
- 데이터프레임에 duplicated() 메소드를 적용하면 각 행의 중복 여부를 나타내는 불린 시리즈를 반환한다. 
- 0행의 데이터는 뒤에 나오는 1행의 데이터와 같지만 처음 나오는 값이다. 즉, 앞에 비교할 데이터가 아예없기 때문에 중복이 아니라는 뜻에서 False
로 판정한다. 1행의 데이터는 앞의 0행과 중복되기 때문에 True가 된다.

import pandas as pd 
df = pd.DataFrame(
{'c1':['a','a','b','a','b'],
 'c2':[1,1,1,2,2],
 'c3':[1,1,2,2,2]})
print(df)
print('\n')

df_dup = df.duplicated()
print(df_dup)
print('\n')

  c1  c2  c3
0  a   1   1
1  a   1   1
2  b   1   2
3  a   2   2
4  b   2   2


0    False
1     True
2    False
3    False
4    False
dtype: bool

col_dup = df['c2'].duplicated()
print(col_dup)

0    False
1     True
2     True
3    False
4     True
Name: c2, dtype: bool

import pandas as pd 
df=pd.DataFrame({
    "c1":['a','a','b','a','b'],
    "c2":[1,1,1,2,2],
    "c3":[1,1,2,2,2]  
})
print(df)
print('\n')

  c1  c2  c3
0  a   1   1
1  a   1   1
2  b   1   2
3  a   2   2
4  b   2   2

df2 = df.drop_duplicates()
print(df2)
print('\n')

  c1  c2  c3
0  a   1   1
2  b   1   2
3  a   2   2
4  b   2   2

df3 = df.drop_duplicates(subset=['c2','c3'])
print(df3)

  c1  c2  c3
0  a   1   1
2  b   1   2
3  a   2   2

# 데이터가 일정 개수 이상 존재하는 회사만 남긴다.
#df = df.groupby("회사ID").filter(lambda x : len(x) > 24

#df = df.loc[df["연매출액"]>70000000]
#df = df[df["연매출액"]>70000000] 같은 코드. 
#df = df[df['월별_직원수']>=400]
#특정 조건에 맞는 전체 데이터를 출력하기 위해선 df[df[조건]]

# new_df["연매출액_변화량"] = change_sales_columns #여기서 change_sales_columns는 리스트 형태입니다.

#check_id_list = check_df['회사ID'].unique()
#for을 돌릴 수 있다.

# # 연매출액 변화가 없는 회사 ID 제거
# # 기존 리스트를 for문을 돌면서 조건에 만족한 데이터만 리스트 필터링
# # 필터링된 리스트를 다시 for문을 돌면서 필터링. 
# change_sales_list = []
# for x in check_id_list :
#     new_df = check_df[check_df['회사ID']==x]
#     if sum(new_df['연매출액_변화량']) > 10000000 : # 연매출액 성장 100억 이상
#         change_sales_list.append(x) 
# print(len(change_sales_list), "개의 회사가 연매출액이 증가했습니다.")
# print(change_sales_list)
# # 직원수 변화가 없는 회사 ID 제거

# change_worker_list = []
# for z in change_sales_list :
#     worker_df = check_df[check_df['회사ID']==z]
#     if sum(worker_df['월별_직원수_변화량']) > 30 : # 직원수 30명 이상
#         change_worker_list.append(z)   
# print(len(change_worker_list), "개의 회사의 직원수가 증가했습니다.")  
# print(change_worker_list)