목록Data Analysis (6)
lastnamesong
[통계 이론] 연속 확률분포 (정규분포, 표준정규분포)
확률과 통계는 데이터 분석과 머신러닝의 근본이다. 그중에서도 연속 확률 분포는 현실 세계의 수많은 현상을 수학적으로 설명하는 강력한 도구이다. 이번 글에서는 연속 확률 분포 중 가장 기본이 되는 정규분포, 표준정규분포, 그리고 t분포, 카이제곱분포, F분포 같은 중요한 분포들을 살펴본다.정규분포 (Normal Distribution)사람들의 키, 시험 점수, 혈압 수치, 심지어 제품 수명의 길이까지, 현실에서 관찰되는 많은 데이터는 비슷한 모양을 가진다. 중앙에 데이터가 몰려 있고, 양쪽 끝으로 갈수록 점점 희박해지는 형태. 바로 정규분포다.정규분포는 우연히 만들어지는 게 아니다. 수많은 독립적인 요인이 조금씩 영향을 끼친 결과물이기 때문이다. 사람의 키를 예로 들어보자. 유전, 식습관, 운동, 환경 등..
[통계 이론] 베이즈 정리
스팸 필터는 어떻게 작동할까? 이메일을 받을 때마다 메일 서비스는 해당 메일이 스팸인지 아닌지를 판단해야 한다. 이때 단순히 특정 단어가 포함되었는지만 보는 것이 아니라, 머신러닝 모델을 활용해 확률적으로 판단한다. 그리고 이 과정에서 핵심적으로 사용되는 개념이 바로 베이즈 정리이다. 베이즈 정리를 활용하면 새로운 정보가 추가될 때 기존 확률을 조정하여 보다 정확한 판단을 내릴 수 있다. 이번 글에서는 베이즈 정리에 대해 정리하기에 앞서 조건부 확률에 대해 확실하게 이해하고, 베이즈 정리와 이를 이용한 응용, 그리고 시험 등에서 나올 수 있을 법한 문제를 정리한다.조건부 확률베이즈 정리를 이해하려면 먼저 조건부 확률을 알아야 한다. 조건부 확률은 어떤 사건 A가 이미 발생했을 때, 또 다른 사건 B가 발..
[개발환경 구축] 파이썬 개발환경 구축하기 - 3 (패키지 관리, conda/pip package)
가상환경을 설치/관리하고 파이썬 코드를 실행시키는 방법까지 정리했다. [개발환경 구축] 파이썬 개발환경 구축하기 - 2 (VS Code에서 파이썬 코드 실행하기, 터미널과 Interpr파이썬 개발환경 구축을 위한 가상환경 생성 내용에서 이어진다. [개발환경 구축] 파이썬 개발환경 구축하기 - 1 (아나콘다, VSCode, 가상환경 설치 및 삭제)지난번에 환헤지 관련된 글을 쓰면서 lastnamesong.tistory.com이렇게 하면 "개발환경 다 만들었다~" 할 수도 있겠다.그렇지만 파이썬 개발을 위해서는 목적에 따라 다양한 패키지를 불러와서 사용하게 된다. 여기서 파이썬의 패키지는 여러 모듈들을 묶어놓은 것이라고 이해하면 수월하다. 그리고 모듈은 특정 기능을 수행하는 파이썬 코드 파일(.py)을 의미..
[개발환경 구축] 파이썬 개발환경 구축하기 - 2 (VS Code에서 파이썬 코드 실행하기, 터미널과 Interpreter 차이)
파이썬 개발환경 구축을 위한 가상환경 생성 내용에서 이어진다. [개발환경 구축] 파이썬 개발환경 구축하기 - 1 (아나콘다, VSCode, 가상환경 설치 및 삭제)지난번에 환헤지 관련된 글을 쓰면서 데이터 분석을 위해 파이썬을 사용했었다.개인 노트북에서 굉장히 오랜 시간 사용하지 않던 파이썬을 쓰기 위해서 아나콘다 업데이트를 하고 가상환경을lastnamesong.tistory.com이로써 가상환경에 진입하여 파이썬 코드를 실행하는 것이 가능해졌다. 그래서 이건 어떻게 하는걸까? 이번 글에서는 본격적인 데이터 사이언스를 시작하기에 앞서, VS Code에서 파이썬이 돌아가는 방식을 공부한다.정의한 가상환경의 설정에서 파이썬 코드를 실행시키고, 터미널과 VS Code interpreter의 차이를 정리해본다...
[개발환경 구축] macOS에서 파이썬 개발환경 구축하기 - 파이썬 버전 확인 및 자잘한 디버깅 (파이썬 버전 출력 이상할 때)
Anaconda를 이용해 가상환경 생성하고 파이썬 버전을 확인하는 방법까지 확인했었다.그런데 파이썬 버전을 정의하여 설치했는데 설치 후 확인되는 파이썬 버전이 내가 설치한 파이썬 버전과 다르게 이상한 값으로 나와 혼란을 주는 상황이 발생한다.실제 설치된 파이썬 버전에는 문제가 없고, conda 환경에서의 파이썬 경로에 문제가 있는 경우 이런 상황이 발생할 수 있다.이번 글에서는 macOS에서 파이썬 경로를 확인하고, 문제가 있을 때 해결하는 방법에 대해 정리한다.파이썬 버전 정의하여 가상환경 생성위 그림과 같이 파이썬 버전을 3.13.1로 정의해서 가상환경을 제대로 설치했는데,해당 가상환경으로 진입하여 파이썬 버전을 확인해보면 아나콘다 기본 파이썬 버전이 출력되는 현상이 나타나는 경우가 있다. 설치가 잘..
[개발환경 구축] 파이썬 개발환경 구축하기 - 1 (아나콘다, VSCode, 가상환경 설치 및 삭제)
지난번에 환헤지 관련된 글을 쓰면서 데이터 분석을 위해 파이썬을 사용했었다.개인 노트북에서 굉장히 오랜 시간 사용하지 않던 파이썬을 쓰기 위해서 아나콘다 업데이트를 하고 가상환경을 만드는 과정에서 기억이 안나거나 처음 보는 것이라 검색을 하면서 찾아본 내용이 너무 많았다. 그래서 이 과정들을 정리할 필요가 있어보였다. 파이썬 개발에 사용한 PC는 맥북에어 M1이다. 처음 나왔을 때에는 자잘한 문제가 많이 있었지만 지금은 M4까지 나왔으므로 요즘은 애플 실리콘의 호환 이슈가 없을 것으로 생각한다. 프로그램은 설치가 되어있어서 가상환경 구축하는 것 까지를 자세한 화면 캡처로 기록했으며, 프로그램 설치같은 과정은 그냥 다운 받아서 더블클릭 하면 되므로 자세하게 화면으로 기록하지는 않았다.아나콘다 (Anacon..