개발학습일지

resample 과 prophet 같이 사용하여 예측하기 resample() 이란?resample 함수가 년단위, 월단위 등으로 데이터를 묶어서 처리가 가능하다함수 사용하기 전 데이터 준비그룹바이 함수를 이용해서는 날짜 데이터를 바로 년, 월, 일, 시 단위 등으로 묶으라고 할 수 없다그래서 먼저 날짜 컬럼을 인덱스로 만들어서 resample 함수를 사용 할 수 있게 만들어야한다 사용할 날짜 컬럼 데이터 타입 확인 후 오브젝트일 경우 데이트 타임으로 변경df['Date'].info()# format=에 해당 컬럼에 날짜가 입력 되어있는 형식을 입력해준다df['Date'] = pd.to_datetime( df['Date'], format= '%m/%d/%Y %I:%M:%S %p' )..

데이타프레임의 date 컬럼을 전세계가 알아보는 시간 Date ISO 포멧으로 바꾸는 방법 준비한 데이타프레임 chicago_df의 info chicago_df.info() >>> Index: 6017767 entries, 0 to 1456713 Data columns (total 8 columns): # Column Dtype --- ------ ----- 0 ID int64 1 Date object 2 Block object 3 Primary Type object 4 Description object 5 Location Description object 6 Arrest bool 7 Domestic bool dtypes: bool(2), int64(1), object(5) memory usage: 33..

Time Series Data를 Prophet 라이브러리를 이용해서 예측하기 필요한 라이브러리 # import libraries import pandas as pd import numpy as np import matplotlib.pyplot as plt import random import seaborn as sns from prophet import Prophet csv 파일을 읽어와서 데이터를 분석해보고 날짜 순으로 정렬한다 # avocado.csv 데이터 읽기 df = pd.read_csv('/avocado.csv', index_col=0) # 날짜 정렬 df = df.sort_values('Date', ascending=True).reset_index() 프로펫 분석을 위해서는 날짜와 예측하고 ..

트랜스퍼러닝 후 파인 튜닝하기 파일 튜닝이란? 트랜스퍼 러닝을 한 다음에 수행하는 방법이며 섬세한 튜닝이다 트랜스퍼러닝을 한 후에 조금 더 개선이 가능한지 추가로 해보는 방법이다 학습된 모델 그 상태에서 추가로 학습시키는데, 좋은 모델의 일부분을 학습 가능한 데이터로 변경 후 학습 시킨다 전 포스팅 [AI] 딥러닝 Transfer Learning으로 사진분류하는 인공지능 만들기(https://msdev-st.tistory.com/68) 에서 만든 인공지능 model 에 이어서 파일 튜닝하겠다 베이스 모델의 전체 레이어를 다시 학습 가능하도록 바꿔주고 전체 레이어 수 확인한다 레이어 갯수를 확인했으니 몇번째 레이어까지 학습이 안되도록 할 것인지 결정해 준다 model.summary() >>> # 제일 아래..

Transfer Learning으로 개, 고양이 사진분류하는 인공지능 만들기 Transfer Learning이란? : 이미 학습이 완료된 인공지능을 가져다가 내 데이터로 다시 재학습해서 사용하는 것이다 이번학습에서 사용할 모델인, MobileNetV2 이란? 모바일이나 임베디드에서도 실시간을 작동할 수 있게 모델이 경량화 되면서도 정확도 또한 많이 떨어지지 않게하여 속도와 정확도 사이의 트레이드 오프 문제를 어느정도 해결한 네트워크이다 트랜스퍼 러닝에 사용되는 모델들은 홈페이지에서 확인이 가능하다 https://www.tensorflow.org/api_docs/python/tf/keras/applications Module: tf.keras.applications | TensorFlow v2.16.1 D..

텐서플로우 라이브러리를 이용해 이미지 분류 인공지능을 만들자 텐서플로우에서 제공해주는 fashion_mnist 를 사용 import tensorflow as tf # 데이터 가져와서 학습용과 테스트용으로 분리 fashion_mnist = tf.keras.datasets.fashion_mnist # 텐서플로우에서 제공해주는 순서로 저장한다 (X_train, y_train), (X_test, y_test) = fashion_mnist.load_data() # CNN을 이용하려면 4차원으로 변경해야한다(학습용과 테스트용 둘 다 변경) X_train = X_train.reshape(60000, 28, 28, 1) X_train.shape # (60000, 28, 28, 1) X_test = X_test.resh..

이미지 파일을 학습 시키기 전에, 이미지 파일(jpg, png...)을 학습 데이터인 넘파이 어레이로 만들어야 한다 인공지능을 학습시킬때 들어가는 데이터는 넘파이 어레이가 들어가야하지만 가지고 있는 데이터는 이미지 파일이라서 이미지 파일의 형태로는 fit 함수로 학습이 불가능하다 그래서, 파일을 텐서플로우 keras preprocessing image 에 ImageDataGenerator 라이브러리를 사용해서 변환시켜줘야 한다 import tensorflow as tf from keras.preprocessing.image import ImageDataGenerator ImageDataGenerator 에 들어가는 파라미터 - rescale = 1/255 이미지를 불러오면서 피처스케일링까지 한다 - sh..

딥러닝 작업을 하게 되면 zip 파일을 받는 경우가 많다 zip 파일을 푸는 방법을 알고 있어야 한다 필요한 라이브러리 임폴트 # 라이브러리 임포트 import zipfile 변수에 zipfile이 있는 경로를 가져와서 저장하고 압축을 출 폴더 경로를 입력한다 file = zipfile.ZipFile('/tmp/horse-or-human.zip') # file.extractall에 압축을 풀 폴더 경로를 입력한다(새로운 파일이름을 적으면 파일 생성됨) file.extractall('/tmp') 각 폴더 경로를 변수로 저장하게 되면 데이터 전처리할 때 조금 더 간편해진다