캐글 스터디 1회차 - 과제
·
직장인 대학원/캐글 스터디
1회차 과제Basic Analysis 실습 해오기. Basic Analysis데이터 셋 크기 (행/열): 데이터의 전체 구조를 파악한다.실제 모습: head()나 sample()로 데이터를 직접 확인한다.중복치: 중복된 행이 있는지 확인한다.결측치: 누락된 값이 있는지 파악한다.기술 통계: 수치형 변수의 평균, 분산 등 기본 통계값을 확인한다.컬럼 종류: 수치형/범주형 등의 변수 타입을 구분한다.범주형 컬럼의 고유값: 각 범주형 변수에 어떤 값들이 있는지 파악한다. 코드로 구현하기데이터 불러오기# 데이터 불러오기train = pd.read_csv('/kaggle/input/playground-series-s5e3/train.csv')test = pd.read_csv('/kaggle/input/playgr..
캐글 스터디 1회차 - 캐글이란 ..
·
직장인 대학원/캐글 스터디
오늘 목차노트북 작성하는 방법분석 순서 및 내용다음시간 예고 캐글에서 분석을 진행하기 위해 노트북을 어떻게 사용하는지 학습했다. Playground 에서 연습을 할 예정이다.우리는 아래 링크의 대회를 연습할 예정이다.https://www.kaggle.com/competitions/playground-series-s5e3/code Binary Prediction with a Rainfall DatasetPlayground Series - Season 5, Episode 3www.kaggle.com 데이터셋이 작아서 빠르게 결과 확인이 가능하다. 분석 순서 및 내용Basic Analysis데이터 셋 크기 (행/열): 데이터의 전체 구조를 파악한다.실제 모습: head()나 sample()로 데이터를 직접 ..
Airflow DAG에서 모듈 임포트가 안 될 때: 상대경로 vs 절대경로 해결
·
개발중/AirFlow
Airflow DAG를 만들면서 `PythonOperator`에서 내가 만든 파이썬 함수를 import하려고 했다.  근데 생각대로 되지 않았기에 기록을 남기려 한다. ㅠㅠ 예를 들어 이런 구조로 작업 중이었다. dags/ └── repo/ └── client-test/ └── soobin/     ├── tutorial.py      ├── update_pending_records.py     처음에는 `tutorial.py`에서 상대경로로 import를 시도했었다.시도 1from .update_pending_records import update_pending_records 시도 2from ape.update_pending_records import update_pending_records  하지만 ..
[Airflow] 아주 간단한 DAG 실행시키기
·
개발중/AirFlow
목적say_hello1 > say_hello2 > say_hello3 함수를 차례대로 실행시켜보자. say_hello1.pydef say_hello1(): print("Hello from say_hello1!") say_hello2.pydef say_hello2(): print("Hello from say_hello2!") say_hello1.pydef say_hello3(): print("Hello from say_hello3!")  hello_airflow_test.pyfrom airflow import DAGfrom airflow.operators.python import PythonOperatorfrom datetime import datetimefrom say_hello1 imp..
[Swagger] @Operation Cannot resolve method 'useReturnTypeSchema'
·
카테고리 없음
이슈useReturnTypeSchema 옵션을 사용해서 컨트롤러의 리턴 타입을 기준으로 Swagger 응답 스키마를 자동 생성하고 싶었는데, @Operation(useReturnTypeSchema = true)가 인식되지 않거나 동작하지 않는 상황이다.   결론똑똑이 챗지피티가 useReturnTypeSchema 는 @Operation 라고 우겨서 발생한 일이다.   근데 실제로 구글링해보니 useReturnTypeSchema 옵션은 @ApiResponse 의 옵션이다. 챗 지피티도 가끔 틀리니, 항상 대답을 백퍼센트 신뢰하지 말 것 ,,,,
[MYSQL] 이벤트 스케쥴러 (Event Scheduler) 사용법 🎉
·
개발중/MYSQL
안녕하세요!MySQL 이벤트 스케줄러를 사용하면, 정기적으로 반복되는 작업(예: 로그 정리, 데이터 백업, 오래된 레코드 업데이트 등)을 데이터베이스 내부에서 자동으로 실행할 수 있다고 해요!이번 포스팅에서는 이벤트 스케줄러를 조회, 생성, 삭제하는 방법과 이벤트 쿼리 작성법에 대해 알아보도록 할게요. 🚀 1. 이벤트 스케줄러 조회 🔍1-1. 이벤트 스케줄러 상태 확인먼저 이벤트 스케줄러가 활성화되어 있는지 확인해봅시다.MySQL 클라이언트에서 아래 명령어를 입력해 보세요.SHOW VARIABLES LIKE 'event_scheduler';  결과가 ON이면 이벤트 스케줄러가 활성화된 상태예요. 만약 OFF라면, 다음 명령어로 활성화할 수 있어요. SET GLOBAL event_scheduler = ..
Dockerfile 에서 Test 코드 실행하지 않고 Build 하는 방법 ( Gradlew, Maven )
·
개발중/Docker
Docker 이미지를 빌드할 때, 테스트 코드를 실행하지 않고 빠르게 빌드할 필요가 있을 때가 있습니다. 여기서는 Gradle Wrapper(gradlew)와 Maven을 사용하는 경우 각각 테스트를 건너뛰는 방법을 소개합니다.Gradle Wrapper (gradlew)Gradle로 프로젝트를 빌드할 때, 모든 테스트를 실행하지 않고 빌드를 진행하려면 -x test 옵션을 사용합니다. Dockerfile 내에서는 다음과 같이 명령어를 작성할 수 있습니다. RUN ./gradlew build -x test 위 명령어는 프로젝트의 빌드 작업을 수행하면서 테스트 태스크를 제외합니다. 이를 통해 테스트 실행에 소요되는 시간을 절약하고, 빠른 이미지 빌드가 가능합니다. MavenMaven 프로젝트의 경우, 테스트..
@JsonTypeInfo 활용 사례와 예제
·
개발중/Spring Boot
@JsonTypeInfo란?@JsonTypeInfo는 Jackson 라이브러리에서 다형성(Polymorphism) 직렬화와 역직렬화를 지원하기 위해 사용되는 애너테이션입니다.객체지향 프로그래밍에서 상속 구조를 가지는 클래스 계층이 있을 때, 상위 클래스 타입으로 선언된 필드에 여러 하위 클래스의 객체가 저장될 수 있습니다.이러한 상황에서 객체를 JSON으로 직렬화할 때, 단순히 필드 값만 기록하면 역직렬화 시 원래의 구체적인 클래스 정보를 알 수 없습니다.@JsonTypeInfo는 이 문제를 해결하기 위해, JSON 데이터에 타입 정보를 포함시켜 저장함으로써, 역직렬화 시 원래의 하위 클래스로 복원할 수 있도록 도와줍니다.주요 속성은 다음과 같습니다:use: 타입 식별자(strategy)를 지정합니다.예..