본문 바로가기

제거

Convolutional AE 【8】최근 AutoEncoder 응용 모델 이해하고 사용하기 / Convolutional AE Convolutional AE 이번에는 CNN과 AE과 결합된 모델인 CAE를 실습해보자 이미지에서 강점을 보인 CNN이기 때문에 성능은 좋아졌다. 바로 CAE로 생성된 mnist 이미지부터 보겠습니다. 위에 있는 이미지는 원본이미지고 아래는 CAE로 나온 예측 이미지다. 손실이 거의 발생하지 않은 상태의 이미지인 것을 확인 할 수가 있다. 높은 성능을 보이기에 책에는 따로 실습을 담지 않았지만 실습파일에는 있으니 시간이 있다면 실습을 하는걸 추천한다. 실습은 노이즈가 섞인 이미지 데이터를 CAE로 학습하는 것을 할 것이다. try: %tensorflow_version 2.x" except Exception: .. 더보기
[머신러닝] 데이터프레임 : Null 값이 있는 행 확인하고, 삭제하는 방법 머신러닝 학습을 하기 전 데이터 전처리를 할 때, 데이터프레임 상에서 Null 값이 있는 행이 있는지 확인하고, 또 존재한다면 삭제하고 싶을 때, 코드를 어떻게 작성해야 하는지 아래 코드를 보면서 살펴보도록 하겠습니다. 1. Null 값 확인하기 먼저, 다음과 같이 Null 값이 있는 데이터프레임이 있다고 가정해보겠습니다. # itempricecount 0water1000.01.0 1milk2000.0NaN 2coffee3000.02.0 3adeNaN1.0 4latte5000.03.0 5tea6000.02.0 위 데이터프레임을 보면 각각 1행과 3행에 NaN 으로 Null 값이 있는 것을 확인할 수 있는데요, 이 데이터프레임의 데이터는 매우 작아서 어디에 Null 값이 있는지 바로 알 수 있지만, 데이터.. 더보기
[웹크롤링] 크롤링해서 얻은 텍스트, 앞 뒤 공백 제거하려면? - strip 크롤링을 하면 주로 텍스트를 추출하게 되는데요, 이때 추출한 텍스트 앞, 뒤로 공백이 같이 추출될 수 있습니다. 이러한 경우 공백을 제거한 뒤 저장하는 것이 나중에 분석 및 처리를 위해서도 좋은데요, 어떻게 하면 앞, 뒤 공백을 제거할 수 있는지 살펴보도록 하겠습니다. - strip() : 문자열 앞 뒤 공백 제거하기 먼저, 다음과 같이 뉴스 기사 제목을 크롤링해서 저장한 리스트가 있다고 가정해보겠습니다. news = [' KBS \'절반 억대연봉\' 사과에…나경원 "수신료인상 반대" ', ' SK하이닉스 성과급 불만에 최태원 "작년 연봉 전부 반납" 선언', " 안철수-금태섭 채널 열렸다…野 '계단식 단일화론' 급물살(종합)" , '與, 법관탄핵안 161명 공동발의…4일 국회통과 유력(종합) ', ' .. 더보기
[데이터 분석] 데이터 프레임 : 결측값(NaN) 있는 행/열 삭제하기 - dropna() 데이터분석을 하기 전 데이터 전처리를 할 때, 결측값(NaN)이 있는 항목은 다른 값을 넣어주던가 해당 행을 삭제하는 것이 좋은데요, 만약, 결측값이 들어있는 행 전체를 삭제하고 싶다면 dropna() 함수를 사용하면 됩니다. 1. dropna() : 결측값이 들어있는 행 삭제하기 pandas 라이브러리에서는 결측값이 들어있는 행을 삭제하는 함수를 제공하는데요, 바로 dropna() 함수입니다. 먼저, 다음과 같은 데이터프레임이 있다고 가정해보겠습니다. display(df) itemcountpricerating 0coffee1.030004.5 1juice5.040003.0 2ade2.05000NaN 3milk4.020002.5 4tea3.040003.0 5waterNaN10004.5 6coke4.0200.. 더보기
[파이썬] 데이터프레임(dataframe) 지정된 행 삭제하기 - drop() 데이터프레임을 이용하여 데이터를 다룰 때, 특정 행을 지워야 할 수 있는데요, 이때 사용하는 함수가 바로 drop() 입니다. drop() 함수는 .drop([행번호]) 와 같이 사용할 수 있습니다. 예를 들어, 아래와 같은 데이터프레임이 있다고 가정해보겠습니다. import pandas as pd info = pd.DataFrame({'item' : ['coffee', 'tea', 'juice' ], 'price' : [3000, 4000, 5000], 'rating' : [4.0, 3.5, 3.7]}) info itempricerating 0coffee30004.0 1tea40003.5 2juice50003.7 위 데이터프레임에서 만약 인덱스가 1인 'tea'-'4000'-'3.5' 행을 지우고 싶다.. 더보기
[파이썬] 딕셔너리 : 데이터 삭제하기 - del - 딕셔너리 : del을 사용하여 데이터 삭제하기 딕셔너리 형태의 데이터를 다루다 보면 데이터를 삭제해야 할 일도 생기곤 하는데요, 딕셔너리 안에 있는 데이터를 지우고 싶다면 del 함수를 이용하여 지울 수 있습니다. del 함수는 del['key이름'] 을 통해 데이터를 지울 수 있는데요, 아래의 코드를 통해 살펴보도록 하겠습니다. price = {'coffee' : 3000, 'tea' : 4000, 'juice' : 5000} 만약 위와 같은 딕셔너리 데이터가 있고, 여기서 'tea'라는 데이터를 지우고 싶다면 아래와 같이 코드를 작성하면 됩니다. del(price['tea']) 위와 같이 입력한 뒤, 다시 price 딕셔너리를 확인해보면 'tea' 항목이 삭제된 것을 확인할 수 있습니다. 더보기
[데이터분석] strip/lstrip/rstrip 문자열 공백 제거하기 데이터 분석을 할 때, 전처리 하기 전 문자열 데이터의 경우 " abc", "abc ", " abc " 와 같이 공백이 포함되어 있는 경우가 있는데요, 이러한 공백은 strip(), lstrip(), rstrip() 함수를 이용하여 제거할 수 있습니다. 1. strip() 첫 번째로 strip 함수는 문자열 기준 양쪽 공백을 모두 제거하는 함수로, 아래와 같이 사용할 수 있습니다. str1 = " abc " print(str1.strip()) 'abc' 위 결과를 보면, 문자 'abc' 좌우에 있던 공백이 사라졌음을 확인할 수 있습니다. 2. lstrip() & rstrip() 한편, lstrip 함수는 문자열 왼쪽에 있는 공백만 제거하는 함수이고, rstrip 은 문자열 오른쪽에 있는 공백만 제거하는 .. 더보기

티스토리툴바