개발자 D 개발 노트

2021/06/07(월) 기획 - 부동산 폭등이 이슈가 되고 있는 요즘 전국적으로 약 15년간 아파트 거래량과 가격의 변동 동향을 알아보고 이유가 무엇인지 분석을 통해 결과 도출 구현 - 통계청에서 자료를 가져와 Hadoop과 Hive를 이용해 테이블 생성과 자료 삽입 sql문을 사용하여 원하는 데이터 추출 후 csv파일을 생성하여 R을 사용해 지도 시각화 인터넷 기사와 서칭을 통해 결과 도출 및 분석 구체적인 구현 설명 - Hadoop / Hive 데이터 수집 참고 https://cordingdoah.tistory.com/122 Hadoop/Hive 이용한 부동산 거래량, 지수 비교 분석 프로젝트 - 1 (데이터 수집) 2021/06/07(월) 부동산 가격이 치솟는 가운데 전에 비해 얼마나 부동산의 거..

2021/06/07(월) Hadoop/Hive 이용한 R 지도시각화 알고리즘 참고 https://cordingdoah.tistory.com/123 Hadoop/Hive 이용한 부동산 거래량, 지수 비교 분석 프로젝트 - 2 (R 이용한 지도시각화) 2021/06/07(월) Hadoop/Hive 분석 프로젝트 1) 데이터 수집 참고 https://cordingdoah.tistory.com/122 Hadoop/Hive 이용한 부동산 거래량, 지수 비교 분석 프로젝트 - 1 (데이터 수집) 2021/06/07(월) 부동산 가.. cordingdoah.tistory.com 데이터 출력을 마쳤으니 해당 데이터와 지도를 가지고 분석을 해보겠다 서울데이터 최고 거래량이 2006년 11월의 무슨일 때문에 거래량이 상승..

2021/06/07(월) Hadoop/Hive 분석 프로젝트 1) 데이터 수집 참고 https://cordingdoah.tistory.com/122 Hadoop/Hive 이용한 부동산 거래량, 지수 비교 분석 프로젝트 - 1 (데이터 수집) 2021/06/07(월) 부동산 가격이 치솟는 가운데 전에 비해 얼마나 부동산의 거래량과 가격이 올랐는지 확인하고 싶다는 생각을 했다 통계청에 있는 데이터를 가지고 Hadoop/Hive 비정형 데이터 처리를 cordingdoah.tistory.com 이제 데이터를 수집하고 Hive안에 넣어놨으니 원하는 데이터를 뽑아 csv파일로 생성하고 지도 시각화 과정을 해보도록 하겠다. 먼저 서울의 최고 거래량 연월을 출력하여 csv파일을 생성해 보도록 하겠다 select mon..

2021/06/07(월) 부동산 가격이 치솟는 가운데 전에 비해 얼마나 부동산의 거래량과 가격이 올랐는지 확인하고 싶다는 생각을 했다 통계청에 있는 데이터를 가지고 Hadoop/Hive 비정형 데이터 처리를 통해 비교해 보고자 한다 우선 데이터를 수집해서 Hive에 넣는 거부터 해보도록 하겠다 먼저 통계청에서 아파트 거래현황 검색하여 자료 가져오기 2006년부터 2020년도까지 2년씩 거래량을 연도별로 자료 출력 출력한 자료들을 하나의 csv로 합쳐주고 영어를 한글로 교체하여 property.csv라는 파일 생성 파일을 생성하고 나면 Hadoop/Hive안에 자료를 담을 테이블을 생성해줘야 함 테이블 만들기 create table property( monthofyear int, city string, g..