import pandas as pd
import seaborn as sns

df = pd.read_csv('krx.csv', dtype={"Symbol":object})

df.shape

(7211, 11)

# head 로 위에 있는 데이터 일부만 가져옵니다.
df.head()

# tail 로 아래 있는 데이터 일부만 가져옵니다.
df.tail()

df.sample()

# info 로 요약 데이터를 봅니다.
df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 7211 entries, 0 to 7210
Data columns (total 10 columns):
 #   Column          Non-Null Count  Dtype 
---  ------          --------------  ----- 
 0   Symbol          7211 non-null   object
 1   Market          7211 non-null   object
 2   Name            7211 non-null   object
 3   Sector          2438 non-null   object
 4   Industry        2419 non-null   object
 5   ListingDate     2438 non-null   object
 6   SettleMonth     2438 non-null   object
 7   Representative  2438 non-null   object
 8   HomePage        2258 non-null   object
 9   Region          2438 non-null   object
dtypes: object(10)
memory usage: 563.5+ KB

# describe 로 기술통계값을 봅니다.
df.describe()

# 중복을 제외한 unique 값의 갯수를 봅니다.
df.nunique()

Symbol            7211
Market               3
Name              7211
Sector             158
Industry          2264
ListingDate       1799
SettleMonth          9
Representative    2319
HomePage          2237
Region              22
dtype: int64

# index 값 보기
df.index

RangeIndex(start=0, stop=7211, step=1)

# 컬럼값 보기
df.columns

Index(['Symbol', 'Market', 'Name', 'Sector', 'Industry', 'ListingDate',
       'SettleMonth', 'Representative', 'HomePage', 'Region'],
      dtype='object')

# 값만 보기
df.values

array([['060310', 'KOSDAQ', '3S', ..., '박종익, 김세완 (각자 대표이사)',
        'http://www.3sref.com', '서울특별시'],
       ['095570', 'KOSPI', 'AJ네트웍스', ..., '이현우, 박대현',
        'http://www.ajnet.co.kr', '서울특별시'],
       ['006840', 'KOSPI', 'AK홀딩스', ..., '채형석, 이석주(각자 대표이사)',
        'http://www.aekyunggroup.co.kr', '서울특별시'],
       ...,
       ['003280', 'KOSPI', '흥아해운', ..., '이환구', 'http://www.heung-a.com',
        '서울특별시'],
       ['037440', 'KOSDAQ', '희림', ..., '정영균, 이목운, 허철호 (각자대표)',
        'http://www.heerim.com', '서울특별시'],
       ['238490', 'KOSDAQ', '힘스', ..., '김주환', 'http://www.hims.co.kr',
        '인천광역시']], dtype=object)

# 카카오를 찾습니다.
df["Name"] == "카카오" #어딘가에 카카오가 숨어있다.

0       False
1       False
2       False
3       False
4       False
        ...  
7206    False
7207    False
7208    False
7209    False
7210    False
Name: Name, Length: 7211, dtype: bool

df[df["Name"] == "카카오"] #True인 index값을 indexing해서 가져온다.

# 서울특별시에 소재지를 두고 있는 KOSPI 종목의 종목명과 심볼을 가져옵니다.
df.loc[(df["Region"] == "서울특별시") & (df["Market"] == "KOSPI"), ["Symbol", "Name"]]

df.columns

Index(['Symbol', 'Market', 'Name', 'Sector', 'Industry', 'ListingDate',
       'SettleMonth', 'Representative', 'HomePage', 'Region', 'ListingYear'],
      dtype='object')

# ListingYear 파생변수 만들기
df["ListingDate"] = pd.to_datetime(df["ListingDate"])
df["ListingYear"] = df["ListingDate"].dt.year
df["ListingYear"]

0       2002.0
1       2015.0
2       1999.0
3       2001.0
4       2017.0
         ...  
7206       NaN
7207       NaN
7208    1976.0
7209    2000.0
7210    2017.0
Name: ListingYear, Length: 7211, dtype: float64

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 7211 entries, 0 to 7210
Data columns (total 11 columns):
 #   Column          Non-Null Count  Dtype         
---  ------          --------------  -----         
 0   Symbol          7211 non-null   object        
 1   Market          7211 non-null   object        
 2   Name            7211 non-null   object        
 3   Sector          2438 non-null   object        
 4   Industry        2419 non-null   object        
 5   ListingDate     2438 non-null   datetime64[ns]
 6   SettleMonth     2438 non-null   object        
 7   Representative  2438 non-null   object        
 8   HomePage        2258 non-null   object        
 9   Region          2438 non-null   object        
 10  ListingYear     2438 non-null   float64       
dtypes: datetime64[ns](1), float64(1), object(9)
memory usage: 619.8+ KB

df[["ListingYear", "ListingDate"]].dtypes

ListingYear           float64
ListingDate    datetime64[ns]
dtype: object

def get_font_family():
    """
    시스템 환경에 따른 기본 폰트명을 반환하는 함수
    """
    import platform
    system_name = platform.system()
    # colab 사용자는 system_name이 'Linux'로 확인

    if system_name == "Darwin" :
        font_family = "AppleGothic"
    elif system_name == "Windows":
        font_family = "Malgun Gothic"
    else:
        # Linux
        # colab에서는 runtime을 <꼭> 재시작 해야함.
        # 런타임을 재시작 하지 않고 폰트 설치를 하면 기본 설정 폰트가 로드되어 한글이 깨짐.
        !apt-get update -qq
        !apt-get install fonts-nanum -qq  > /dev/null

        import matplotlib.font_manager as fm

        fontpath = '/usr/share/fonts/truetype/nanum/NanumBarunGothic.ttf'
        font = fm.FontProperties(fname=fontpath, size=9)
        fm._rebuild()
        font_family = "NanumBarunGothic"
    return font_family

get_font_family()

'AppleGothic'

# 시각화를 위한 폰트설정
# 위에서 만든 함수를 통해 시스템 폰트를 불러와서 font_family 라는 변수에 할당.
a = get_font_family()
# 폰트설정
import matplotlib.pyplot as plt 
plt.rc("font", family = a)
# 마이너스폰트 설정
plt.rc("axes", unicode_minus=False)
# ggplot으로 그래프 스타일 설정
plt.style.use("ggplot")

# 한글폰트 확인하기
pd.Series([1,3,5,7,9]).plot(title="한글폰트")

<matplotlib.axes._subplots.AxesSubplot at 0x1a2488cc10>

# Market column에 어떤 데이터들이 있는지 unique로 확인하기.
df["Market"].unique()

array(['KOSDAQ', 'KOSPI', 'KONEX'], dtype=object)

# value_counts()로 빈도수를 구함.
df["Market"].value_counts()

KOSPI     5555
KOSDAQ    1518
KONEX      138
Name: Market, dtype: int64

# 빈도수를 시각화 함.
df["Market"].sort_values().value_counts().plot.barh(rot=30)

<matplotlib.axes._subplots.AxesSubplot at 0x1a247a3850>

# Seaborn countplot 활용하여 빈도수를 표현합니다.
sns.countplot(data = df, y = "Market")

<matplotlib.axes._subplots.AxesSubplot at 0x1a24602950>

# 섹터의 빈도수를 구하고
# 상위 30개 섹터의 빈도수를 sector_count_top 변수에 할당.
sector_count_top = df["Sector"].value_counts().head(30)
sector_count_top.index

Index(['특수 목적용 기계 제조업', '소프트웨어 개발 및 공급업', '전자부품 제조업', '자동차 신품 부품 제조업',
       '의약품 제조업', '기타 금융업', '기타 화학제품 제조업', '금융 지원 서비스업', '통신 및 방송 장비 제조업',
       '반도체 제조업', '1차 철강 제조업', '자연과학 및 공학 연구개발업', '의료용 기기 제조업',
       '일반 목적용 기계 제조업', '플라스틱제품 제조업', '기타 전문 도매업', '기초 화학물질 제조업',
       '기초 의약물질 및 생물학적 제제 제조업', '컴퓨터 프로그래밍, 시스템 통합 및 관리업',
       '전동기, 발전기 및 전기 변환 · 공급 · 제어 장치 제조업', '영화, 비디오물, 방송프로그램 제작 및 배급업',
       '기타 식품 제조업', '의료용품 및 기타 의약 관련제품 제조업', '봉제의복 제조업', '기타 금속 가공제품 제조업',
       '기계장비 및 관련 물품 도매업', '측정, 시험, 항해, 제어 및 기타 정밀기기 제조업; 광학기기 제외', '건물 건설업',
       '구조용 금속제품, 탱크 및 증기발생기 제조업', '자료처리, 호스팅, 포털 및 기타 인터넷 정보매개 서비스업'],
      dtype='object')

df_sector_30 = df[df["Sector"].isin(sector_count_top.index)]

# Seaborn countplot 활용하여 빈도수를 표현합니다.
plt.figure(figsize = (10,8))
sns.countplot(data = df_sector_30, y="Sector", palette = "Blues_r",
              order=sector_count_top.index).set_title("섹터별 빈도수")

Text(0.5, 1.0, '섹터별 빈도수')

#색깔바꾸기 옵션.
print(plt.colormaps())

['Accent', 'Accent_r', 'Blues', 'Blues_r', 'BrBG', 'BrBG_r', 'BuGn', 'BuGn_r', 'BuPu', 'BuPu_r', 'CMRmap', 'CMRmap_r', 'Dark2', 'Dark2_r', 'GnBu', 'GnBu_r', 'Greens', 'Greens_r', 'Greys', 'Greys_r', 'OrRd', 'OrRd_r', 'Oranges', 'Oranges_r', 'PRGn', 'PRGn_r', 'Paired', 'Paired_r', 'Pastel1', 'Pastel1_r', 'Pastel2', 'Pastel2_r', 'PiYG', 'PiYG_r', 'PuBu', 'PuBuGn', 'PuBuGn_r', 'PuBu_r', 'PuOr', 'PuOr_r', 'PuRd', 'PuRd_r', 'Purples', 'Purples_r', 'RdBu', 'RdBu_r', 'RdGy', 'RdGy_r', 'RdPu', 'RdPu_r', 'RdYlBu', 'RdYlBu_r', 'RdYlGn', 'RdYlGn_r', 'Reds', 'Reds_r', 'Set1', 'Set1_r', 'Set2', 'Set2_r', 'Set3', 'Set3_r', 'Spectral', 'Spectral_r', 'Wistia', 'Wistia_r', 'YlGn', 'YlGnBu', 'YlGnBu_r', 'YlGn_r', 'YlOrBr', 'YlOrBr_r', 'YlOrRd', 'YlOrRd_r', 'afmhot', 'afmhot_r', 'autumn', 'autumn_r', 'binary', 'binary_r', 'bone', 'bone_r', 'brg', 'brg_r', 'bwr', 'bwr_r', 'cividis', 'cividis_r', 'cool', 'cool_r', 'coolwarm', 'coolwarm_r', 'copper', 'copper_r', 'cubehelix', 'cubehelix_r', 'flag', 'flag_r', 'gist_earth', 'gist_earth_r', 'gist_gray', 'gist_gray_r', 'gist_heat', 'gist_heat_r', 'gist_ncar', 'gist_ncar_r', 'gist_rainbow', 'gist_rainbow_r', 'gist_stern', 'gist_stern_r', 'gist_yarg', 'gist_yarg_r', 'gnuplot', 'gnuplot2', 'gnuplot2_r', 'gnuplot_r', 'gray', 'gray_r', 'hot', 'hot_r', 'hsv', 'hsv_r', 'icefire', 'icefire_r', 'inferno', 'inferno_r', 'jet', 'jet_r', 'magma', 'magma_r', 'mako', 'mako_r', 'nipy_spectral', 'nipy_spectral_r', 'ocean', 'ocean_r', 'pink', 'pink_r', 'plasma', 'plasma_r', 'prism', 'prism_r', 'rainbow', 'rainbow_r', 'rocket', 'rocket_r', 'seismic', 'seismic_r', 'spring', 'spring_r', 'summer', 'summer_r', 'tab10', 'tab10_r', 'tab20', 'tab20_r', 'tab20b', 'tab20b_r', 'tab20c', 'tab20c_r', 'terrain', 'terrain_r', 'twilight', 'twilight_r', 'twilight_shifted', 'twilight_shifted_r', 'viridis', 'viridis_r', 'vlag', 'vlag_r', 'winter', 'winter_r']

sector_value_counts = df["Sector"].value_counts()

sector_value_counts.to_frame().plot.kde()

<matplotlib.axes._subplots.AxesSubplot at 0x1a2e2cb350>

# Industry 의 빈도수를 구합니다.
industry_top_30 = df["Industry"].value_counts().head(30)
industry_top_30.index

Index(['기업인수합병', '지주회사', '지주사업', '기업 인수 및 합병', '기업인수 및 합병', '화장품', '모바일게임',
       '벤처캐피탈', '금융지원 서비스', '자동차부품', '금융지원서비스', '의약품', '도급공사', '합병', '건강기능식품',
       '-', '셋톱박스', '증권업', '금융지주회사', '의료정보시스템', '배합사료', '사료',
       '부동산투자, 취득, 매매, 임대', '이미지센서 패키징', '항체치료제', '플라스틱 필름', '소주', '비금융지주회사',
       '도시가스', '금융 지원 서비스'],
      dtype='object')

industry_top_30

기업인수합병               37
지주회사                 19
지주사업                  9
기업 인수 및 합병            7
기업인수 및 합병             7
화장품                   7
모바일게임                 7
벤처캐피탈                 4
금융지원 서비스              4
자동차부품                 3
금융지원서비스               3
의약품                   3
도급공사                  3
합병                    3
건강기능식품                3
-                     3
셋톱박스                  3
증권업                   3
금융지주회사                3
의료정보시스템               2
배합사료                  2
사료                    2
부동산투자, 취득, 매매, 임대     2
이미지센서 패키징             2
항체치료제                 2
플라스틱 필름               2
소주                    2
비금융지주회사               2
도시가스                  2
금융 지원 서비스             2
Name: Industry, dtype: int64

# Industry 빈도수를 pandas 의 plot 기능을 사용해 시각화 합니다.
industry_top_30.sort_values().plot.barh(figsize=(10,8), title = "Industry Count")

<matplotlib.axes._subplots.AxesSubplot at 0x1a245101d0>

df_industry_top_30 = df[df["Industry"].isin(industry_top_30.index)]

# seaborn
plt.figure(figsize = (10,8))
sns.countplot(data = df_industry_top_30, y = "Industry", order =industry_top_30.index)

<matplotlib.axes._subplots.AxesSubplot at 0x1a2cd4d710>

df["Region"].value_counts().index

Index(['서울특별시', '경기도', '충청남도', '경상남도', '인천광역시', '충청북도', '부산광역시', '경상북도',
       '대구광역시', '대전광역시', '전라북도', '강원도', '울산광역시', '광주광역시', '전라남도', '제주특별자치도',
       '세종특별자치시', '홍콩', '미국', '케이맨 제도', '일본', '싱가포르'],
      dtype='object')

# Region 의 빈도수를 구합니다.
# value_counts()통해 지역별 상장회사의 빈도수를 봅니다.
df["Region"].value_counts().sort_values().plot.barh(figsize=(10,8), title = "Region")

<matplotlib.axes._subplots.AxesSubplot at 0x1a25f917d0>

Region_index = df["Region"].value_counts().index

Region_region = df[df["Region"].isin(Region_index)]

# Region 의 빈도수를 seaborn 의 countplot 으로 그립니다.
plt.figure(figsize=(10,8))
sns.countplot(data = df, y = "Region", palette="Greens_r")

<matplotlib.axes._subplots.AxesSubplot at 0x1a263faa90>

# pd.crosstab 을 통한 2개의 변수에 대한 빈도수 구하기
# Market 과 Region 으로 빈도수 구하기
pd.crosstab(df["Market"],df["Region"])

# countplot : Market 과 Region 으로 빈도수 시각화 하기
plt.figure(figsize=(14,10))
sns.countplot(data = df, y = "Region", hue = "Market").set_title("지역별, 마켓별 빈도수")

Text(0.5, 1.0, '지역별, 마켓별 빈도수')

# Market, ListingYear 빈도수 구하기
# market_year
Market_Year = pd.crosstab(df["Market"],df["ListingYear"])
Market_Year

# Pandas plot 기능 활용하여 기본 그래프(line)를 그림
# Pandas plot으로 그릴 때 x축에 인덱스 값이 y축에는 컬럼에 있는 값이 들어감.
# 컬럼이 여러개라면 다른 색상으로 그려짐.
g = Market_Year.T.plot(figsize = (10,4), title = "연도별 시장별 빈도수")

# 컬럼값을 subplots 으로 그립니다.
g = Market_Year.T.plot(figsize = (10,4), title = "연도별 시장별 빈도수", subplots = True)

# Pandas plot 기능 활용하여 막대 그래프(bar, barh)를 그립니다.
Market_Year.T.plot.bar(figsize = (10,8), title = "연도별 시장별 빈도수")

<matplotlib.axes._subplots.AxesSubplot at 0x1a2de802d0>

# Seaborn countplot 활용하여 빈도수를 표현합니다.
# hue 를 사용해 다른 변수를 함께 표현합니다. hue는 색상을 의미합니다.
plt.figure(figsize = (10,14))
sns.countplot(data = df, y = "ListingYear", hue = "Market").set_title("연도별 시장별 빈도수")

Text(0.5, 1.0, '연도별 시장별 빈도수')

# groupby([인덱스 컬럼 리스트])[연산에 사용할 컬럼].연산()
# market_year
#groupby(["Market","ListingYear"])
market_year_groupby = df.groupby(["Market","ListingYear"])["Symbol"].count().unstack().fillna(0).astype(int)
market_year_groupby.columns = market_year_groupby.columns.astype(int)
market_year_groupby

# pivot_table로 같은 결과가 나오게 연산하기
market_year_pivot = pd.pivot_table(data = df, index = ["Market"], 
               columns = "ListingYear", values = "Symbol", 
               aggfunc = "count", fill_value = 0).astype(int)
market_year_pivot.columns = market_year_pivot.columns.astype(int)
market_year_pivot

# 위의 groupby 결과를 scatterplot으로 시각화하자.
# df_market_year
df_market_year_sns = df.groupby(["Market","ListingYear"])["Symbol"].count()
df_market_year_sns = df_market_year_sns.reset_index()
df_market_year_sns = df_market_year_sns.rename(columns = {"Symbol":"Count"})
df_market_year_sns.head()

plt.figure(figsize = (10,4))
sns.scatterplot(data = df_market_year_sns, x = "ListingYear", y = "Count", hue = "Market" )

<matplotlib.axes._subplots.AxesSubplot at 0x1a29300d90>

# lineplot 그리기
plt.figure(figsize = (10,4))
sns.lineplot(data = df_market_year_sns, x = "ListingYear", y = "Count", hue = "Market", ci = None  )

<matplotlib.axes._subplots.AxesSubplot at 0x1a29ca6bd0>

# relplot으로 subplot 그리기 - scatter
sns.relplot(data = df_market_year_sns, x = "ListingYear", y = "Count", hue = "Market", col = "Market")

<seaborn.axisgrid.FacetGrid at 0x1a29a824d0>

# relplot으로 subplot 그리기 - line
sns.relplot(data = df_market_year_sns, x = "ListingYear", 
            y = "Count", hue = "Market", row = "Market", kind = "line",
            height=2, aspect=3)

<seaborn.axisgrid.FacetGrid at 0x1a2b069ed0>

# 케이맨 제도에 있는 회사 찾기
df[df["Region"] == "서울특별시"]

# 1970년 이전에 상장한 기업을 찾습니다.
df.loc[df["ListingYear"] < 1970, :].head()

# 2020년 상장한 서울특별시에 소재한 코스피 종목을 찾습니다.
seoul = df["Region"] == "서울특별시"
kospi = df["Market"] == "KOSPI"
year = df["ListingYear"] == 2020
df.loc[seoul&kospi&year,:]

df_sr = pd.crosstab(df["Sector"],df["Region"]) #index가 Sector, Region이 컬럼
df_sr

# 특정 컬럼만 가져오기
#df_sr[["강원도","대구광역시"]] 아래 코드와 같음. 
df_sr.loc[:,["강원도","대구광역시"]]

df_sr.loc["소프트웨어 개발 및 공급업", :]

Region
강원도         0
경기도        37
경상남도        0
경상북도        0
광주광역시       0
대구광역시       0
대전광역시       1
미국          0
부산광역시       1
서울특별시      97
세종특별자치시     0
싱가포르        0
울산광역시       0
인천광역시       0
일본          2
전라남도        0
전라북도        0
제주특별자치도     0
충청남도        0
충청북도        2
케이맨 제도      0
홍콩          1
Name: 소프트웨어 개발 및 공급업, dtype: int64

df_sr.loc[["소프트웨어 개발 및 공급업","금융 지원 서비스업","의약품 제조업"], :]

df_sr.loc[["소프트웨어 개발 및 공급업","금융 지원 서비스업","의약품 제조업"], ["서울특별시"]]

# "소프트웨어 개발 및 공급업" 만 가져와서 막대그래프를 그립니다.
g = df_sr.loc["소프트웨어 개발 및 공급업",:].sort_values().plot.barh(figsize=(10,5), title = "지역별 소프트웨어 개발 공급업체 갯수")

# "의약품 제조업" 만 가져와서 막대그래프를 그립니다.
g = df_sr.loc["의약품 제조업", :].sort_values().plot.barh(figsize=(10,5), title = "지역별 의약품 제조업체 갯수")