파이썬에서 파일을 저장할때 encoding을 설정해주지 않으면 윈도우 환경에서는 파일을 열었을때 괴상한 문자가 나온다.
물론 linux 계열인 mac에서도 encoding을 잘못 설정하면 괴상한 문자가 나오기는 당연!
cp949utf8을 사용encoding을 설정하는곳이 있는데encoding=cp949를 넘겨줘야 한다.encoding을 설정할 필요가 없다. defulat: utf-8이기 때문이다.오늘부터 자주 사용하게 되는 리눅스 명령어를 모아봐야겠다.
1. 메모리 현황 보기 : cat /proc/meminfo | grep Mem
cat /proc/meminfo | grep Mem
MemTotal: 131445188 kB
MemFree: 6539336 kB
MemAvailable: 52647956 kB* Free memory is the amount of memory which is currently not used for anything. This number should be small, because memory which is not used is simply wasted. Available memory is the amount of memory which is available for allocation to a new process or to existing processes.
* free memory는 현재 어떤 것에도 사용되지 않는 메모리이고, 사용되지 않는 메모리는 낭비되기때문에 사이즈가 작음.
available memory는 새로운 프로세스 또는 존재하는 프로세스에 allocation할 수 있는 메모리.
2. 특정 port가 사용되는지 보기 : sudo netstat -ntlp | grep :5044
port가 listen되고 있는지 볼 수 있음.
3. cpu 현황 전체 보기 : cat /proc/cpuinfo
processor 수만 따로 보기 : grep -c processor /proc/cpuinfo
| [리눅스] nfs-server client 구성하기. shared file system. (0) | 2020.02.28 |
|---|---|
| [Vi/Vim] 에서 indentation 자동으로 맞추기! 정말 지긋지긋! 들여쓰기 전체파일, 한줄 (0) | 2020.02.26 |
| [java] gc에 대하여 2 - object generation (0) | 2020.02.23 |
| [java] jre, jdk, jvm 용어 정리 (0) | 2020.02.23 |
| [gradle] gradle window 환경에서 특정 directory delete fail. (0) | 2020.02.20 |
카카오 지도에서는 간단하게 테스트가 가능한데 아래에 키만 입력하면 조회가 가능하다
{
"documents": [
{
"address_name": "경기 성남시 분당구 삼평동 681",
"category_group_code": "",
"category_group_name": "",
"category_name": "서비스,산업 > 인터넷,IT > 포털서비스",
"distance": "",
"id": "18577297",
"phone": "1899-1326",
"place_name": "카카오 판교오피스",
"place_url": "http://place.map.kakao.com/18577297",
"road_address_name": "경기 성남시 분당구 판교역로 235",
"x": "127.108212226945",
"y": "37.4020560436306"
},
{
"address_name": "제주특별자치도 제주시 영평동 2181",
"category_group_code": "",
"category_group_name": "",
"category_name": "서비스,산업 > 인터넷,IT > 포털서비스",
"distance": "",
"id": "18059921",
"phone": "1899-1326",
"place_name": "카카오 스페이스닷원",
"place_url": "http://place.map.kakao.com/18059921",
"road_address_name": "제주특별자치도 제주시 첨단로 242",
"x": "126.57066132748933",
"y": "33.450677320070916"
},
{
"address_name": "제주특별자치도 제주시 영평동 2184",
"category_group_code": "",
"category_group_name": "",
"category_name": "서비스,산업 > 인터넷,IT > 포털서비스",
"distance": "",
"id": "22251293",
"phone": "1899-1326",
"place_name": "카카오 스페이스닷투",
"place_url": "http://place.map.kakao.com/22251293",
"road_address_name": "제주특별자치도 제주시 첨단로 216-19",
"x": "126.570875463183",
"y": "33.4526219140826"
},
{
"address_name": "경기 성남시 분당구 백현동 541",
"category_group_code": "",
"category_group_name": "",
"category_name": "가정,생활 > 문구,사무용품 > 디자인문구 > 카카오프렌즈",
"distance": "",
"id": "26944943",
"phone": "031-5170-2451",
"place_name": "카카오프렌즈 현대백화점판교점",
"place_url": "http://place.map.kakao.com/26944943",
"road_address_name": "경기 성남시 분당구 판교역로146번길 20",
"x": "127.112385409653",
"y": "37.392202184912"
},
{
"address_name": "경기 성남시 분당구 삼평동 680",
"category_group_code": "",
"category_group_name": "",
"category_name": "금융,보험 > 금융서비스 > 은행",
"distance": "",
"id": "27578089",
"phone": "1599-3333",
"place_name": "한국카카오은행",
"place_url": "http://place.map.kakao.com/27578089",
"road_address_name": "경기 성남시 분당구 판교역로 231",
"x": "127.108644810967",
"y": "37.4012843732024"
},
{
"address_name": "경기 성남시 분당구 백현동 537",
"category_group_code": "",
"category_group_name": "",
"category_name": "금융,보험 > 금융서비스",
"distance": "",
"id": "949394317",
"phone": "1644-7405",
"place_name": "카카오페이",
"place_url": "http://place.map.kakao.com/949394317",
"road_address_name": "경기 성남시 분당구 판교역로 152",
"x": "127.110699049301",
"y": "37.39426531392528"
},
{
"address_name": "경기 성남시 분당구 삼평동 685",
"category_group_code": "",
"category_group_name": "",
"category_name": "서비스,산업 > 전문대행 > 고객관리,TM",
"distance": "",
"id": "25824400",
"phone": "",
"place_name": "카카오 고객센터",
"place_url": "http://place.map.kakao.com/25824400",
"road_address_name": "경기 성남시 분당구 판교역로241번길 20",
"x": "127.107372945892",
"y": "37.4027632089203"
},
{
"address_name": "경기 성남시 분당구 삼평동 672",
"category_group_code": "",
"category_group_name": "",
"category_name": "서비스,산업 > 인터넷,IT > 소프트웨어",
"distance": "",
"id": "13556208",
"phone": "1644-4755",
"place_name": "카카오페이지",
"place_url": "http://place.map.kakao.com/13556208",
"road_address_name": "경기 성남시 분당구 판교역로 221",
"x": "127.108996408808",
"y": "37.4007470412071"
},
{
"address_name": "경기 성남시 분당구 삼평동 633",
"category_group_code": "",
"category_group_name": "",
"category_name": "스포츠,레저 > 골프",
"distance": "",
"id": "18858127",
"phone": "1666-1538",
"place_name": "카카오VX",
"place_url": "http://place.map.kakao.com/18858127",
"road_address_name": "경기 성남시 분당구 판교로228번길 17",
"x": "127.10158226559571",
"y": "37.400195010191624"
},
{
"address_name": "경기 성남시 분당구 백현동 537",
"category_group_code": "",
"category_group_name": "",
"category_name": "서비스,산업 > 기업",
"distance": "",
"id": "547176330",
"phone": "",
"place_name": "카카오모빌리티",
"place_url": "http://place.map.kakao.com/547176330",
"road_address_name": "경기 성남시 분당구 판교역로 152",
"x": "127.1101250888609",
"y": "37.39407843730005"
},
{
"address_name": "경기 성남시 분당구 백현동 537",
"category_group_code": "",
"category_group_name": "",
"category_name": "서비스,산업 > 인터넷,IT > 게임업체",
"distance": "",
"id": "24974641",
"phone": "1566-8834",
"place_name": "카카오게임즈",
"place_url": "http://place.map.kakao.com/24974641",
"road_address_name": "경기 성남시 분당구 판교역로 152",
"x": "127.11016618280905",
"y": "37.39437843929819"
},
{
"address_name": "경기 성남시 분당구 삼평동 680",
"category_group_code": "PS3",
"category_group_name": "어린이집,유치원",
"category_name": "교육,학문 > 유아교육 > 어린이집",
"distance": "",
"id": "26914389",
"phone": "031-607-9993",
"place_name": "늘예솔카카오판교어린이집",
"place_url": "http://place.map.kakao.com/26914389",
"road_address_name": "경기 성남시 분당구 판교역로 231",
"x": "127.108879816692",
"y": "37.401345426449"
},
{
"address_name": "경기 성남시 분당구 삼평동 681",
"category_group_code": "",
"category_group_name": "",
"category_name": "스포츠,레저 > 골프 > 골프연습장 > 스크린골프연습장",
"distance": "",
"id": "245183397",
"phone": "031-778-6806",
"place_name": "카카오VX 판교",
"place_url": "http://place.map.kakao.com/245183397",
"road_address_name": "경기 성남시 분당구 판교역로 235",
"x": "127.108645940077",
"y": "37.4020664581538"
},
{
"address_name": "경기 성남시 분당구 삼평동 670",
"category_group_code": "",
"category_group_name": "",
"category_name": "서비스,산업 > 기업",
"distance": "",
"id": "730664075",
"phone": "",
"place_name": "카카오커머스",
"place_url": "http://place.map.kakao.com/730664075",
"road_address_name": "경기 성남시 분당구 대왕판교로 660",
"x": "127.10681400191869",
"y": "37.40046431022458"
},
{
"address_name": "경기 성남시 분당구 삼평동 681",
"category_group_code": "",
"category_group_name": "",
"category_name": "교통,수송 > 자동차 > 전기자동차 충전소",
"distance": "",
"id": "679200161",
"phone": "",
"place_name": "판교H스퀘어 카카오판교사옥 전기차충전소",
"place_url": "http://place.map.kakao.com/679200161",
"road_address_name": "경기 성남시 분당구 판교역로 235",
"x": "127.108616558231",
"y": "37.4020547718792"
}
],
"meta": {
"is_end": false,
"pageable_count": 45,
"same_name": {
"keyword": "카카오",
"region": [],
"selected_region": ""
},
"total_count": 421
}
}| [Python] 공공데이터 API키를 받았는데 SERVICE_ACCESS_DENIED_ERROR (1) | 2020.03.25 |
|---|---|
| [부동산] (주의) 공공데이터에는 중복된 데이터가 있다. (0) | 2020.02.25 |
| [부동산] 공공데이터 층에 NaN? 0층? (0) | 2020.02.25 |
| [부동산] 아파트 매매/전월세 데이터 효율적으로 가져오기 (0) | 2020.02.25 |
| [부동산 데이터] 부동산 실거래가 다운로드와 파일 읽는 방법 (인코딩) (0) | 2019.12.11 |
공공데이터 포털에서 데이터를 가져와서 확인하는데 동일한 row가 있어서 확인을 해봤다.
185 2019-07-01 1995 2019 정자동 40000 정든마을(5단지)(신화) 7 0 8 69.93 192 41135 8 40000 572.000572 21.153858 60-85m2이하 2019-07-08
191 2019-07-01 1995 2019 정자동 40000 정든마을(5단지)(신화) 7 0 8 69.93 192 41135 8 40000 572.000572 21.153858 60-85m2이하 2019-07-08해당 row를 보면 동일한 row가 두개가 있다! 가격이 동일하고 거래날짜도 동일한!!! 이런...
전처리가 반드시 필요하다.
| [Python] 공공데이터 API키를 받았는데 SERVICE_ACCESS_DENIED_ERROR (1) | 2020.03.25 |
|---|---|
| [부동산] NaverAPI와 KakaoAPI에 대한 사용후기와 사용방법 & 결과 (3) | 2020.02.25 |
| [부동산] 공공데이터 층에 NaN? 0층? (0) | 2020.02.25 |
| [부동산] 아파트 매매/전월세 데이터 효율적으로 가져오기 (0) | 2020.02.25 |
| [부동산 데이터] 부동산 실거래가 다운로드와 파일 읽는 방법 (인코딩) (0) | 2019.12.11 |
부동산 데이터를 살펴보다 보니 층 데이터에 NaN이 있는게 아닌가.. 이게 어떤 값인지... 웃긴건 분당동 전체 112612개중에 달랑 3개만 NaN의 값이다.
date 건축년도 년 법정동 보증금액 아파트 월 월세금액 일 전용면적 지번 지역코드 층
124 201906 1992.0 2019.0 수내동 64,000 양지마을(5단지)(한양515-529) 6.0 0 29.0 84.9 24 41135.0 NaN
126 201906 1992.0 2019.0 수내동 64,000 양지마을(5단지)(한양515-529) 6.0 0 29.0 84.9 24 41135.0 NaN
128 201906 1992.0 2019.0 수내동 64,000 양지마을(5단지)(한양515-529) 6.0 0 29.0 84.9 24 41135.0 NaN데이터의 신뢰도를 위해서 국토부에서 동일한 기간의 데이터를 받아봤더니 NaN의 값은 층 0층이다.
1516 경기도 성남분당구 수내동 24 0024 0000 양지마을(5단지)(한양515-529) 전세 84.9 201906 29 64,000 0 0 1992 내정로165번길 35
1517 경기도 성남분당구 수내동 24 0024 0000 양지마을(5단지)(한양515-529) 전세 84.9 201906 29 64,000 0 0 1992 내정로165번길 35
1518 경기도 성남분당구 수내동 24 0024 0000 양지마을(5단지)(한양515-529) 전세 84.9 201906 29 64,000 0 0 1992 내정로165번길 35응? 0층이 어디에 있지.. 네이버 부동산 매물을 보아도 양지마을(5단지)에는 0층이 없다.
| [부동산] NaverAPI와 KakaoAPI에 대한 사용후기와 사용방법 & 결과 (3) | 2020.02.25 |
|---|---|
| [부동산] (주의) 공공데이터에는 중복된 데이터가 있다. (0) | 2020.02.25 |
| [부동산] 아파트 매매/전월세 데이터 효율적으로 가져오기 (0) | 2020.02.25 |
| [부동산 데이터] 부동산 실거래가 다운로드와 파일 읽는 방법 (인코딩) (0) | 2019.12.11 |
| [부동산데이터] 서울특별시 연도별 거래량이 감소하고 있다! (0) | 2019.12.09 |
부동산 데이터는 국토부에서 가져올수가 있는데,
국토부 데이터는 하나씩 특정 조회를 통해서 가져올 수 있다.
내가 원하는 모든 데이터를 가져오기에는 매우 큰 노가다가 필요하다.
국토부 데이터 결과는 아래와 같다.
시군구 번지 본번 부번 단지명 전월세구분 전용면적(㎡) 계약년월 계약일 보증금(만원) 월세(만원) 층 건축년도 도로명
0 경기도 성남분당구 구미동 77 0077 0000 까치마을(1단지)(대우롯데선경) 전세 84.79 201905 2 53,000 0 10 1995 미금로 184
1 경기도 성남분당구 구미동 77 0077 0000 까치마을(1단지)(대우롯데선경) 전세 51.32 201905 3 29,000 0 1 1995 미금로 184
2 경기도 성남분당구 구미동 77 0077 0000 까치마을(1단지)(대우롯데선경) 월세 51.32 201905 6 12,000 60 4 1995 미금로 184serviceKey를 발급받고 아래와 같이 조회하면 된다.ex: 201901와 법정동코드이다.numOfRows의 값을 9999로 넘겨주면!? 한번의 요청으로 모든 결과를 가져올수 있다.공공데이터의 결과는 아래와 같다.
건축년도 년 법정동 보증금액 아파트 월 월세금액 일 전용면적 지번 지역코드 층
0 1992 2019 분당동 30,000 샛별마을(동성) 5 0 1 59.4 35 41135 5
1 1993 2019 분당동 35,000 장안타운(건영) 5 0 1 67.73 66 41135 9
2 1993 2019 분당동 26,500 장안타운(건영) 5 0 1 53.72 66 41135 1| [부동산] (주의) 공공데이터에는 중복된 데이터가 있다. (0) | 2020.02.25 |
|---|---|
| [부동산] 공공데이터 층에 NaN? 0층? (0) | 2020.02.25 |
| [부동산 데이터] 부동산 실거래가 다운로드와 파일 읽는 방법 (인코딩) (0) | 2019.12.11 |
| [부동산데이터] 서울특별시 연도별 거래량이 감소하고 있다! (0) | 2019.12.09 |
| 서울에서 3년동안 가장 많은 아파트 실거래가 있었던 동은? 년도별 아파트 매매 건수 비교 (0) | 2019.12.07 |
프로그램에서 <사용되고있거나 or 참조되고있는> 객체와 <사용되지않거나 or 참조되고있지않는> 객체를 구별하여,
<사용되지않고 or 참조되지않고있는> 객체가 사용하는 메모리를 회수 할 수 있다.
c에서는 수동 프로세스인데, java에서는 automatic process!
대부분의 객체들은 아주 짧은 수명을 지님.
시간이 지남에 따라 더 적은 수의 객체가 할당 된 상태로 유지 됨.
실제로 대부분의 객체는 그래프 왼쪽값이 높을 수록 수명이 매우 짧음.
jvm성능 강화를 위해 위의 내용을 참고하여 jvm generations개념을 도입함.
young generation은 1개의 eden영역과 2개의 survivor영역(s0, s1)이 존재.
지난 글 참조. 2020/02/19 - [우리는 개발자] - [java] GC에 관하여.
그림으로 살펴보면 아래와 같은 흐름이 됨.
-Xms : jvm start할때 초기 heap size.
-Xmx : maximum heap size.
-Xmn : young gengeration size.
-XX:PermSize : starting size of the permanent generation.
-XX:MaxPermSize : the maximu, size of the Permanent Generation
| [Vi/Vim] 에서 indentation 자동으로 맞추기! 정말 지긋지긋! 들여쓰기 전체파일, 한줄 (0) | 2020.02.26 |
|---|---|
| [리눅스] 자주 사용되는 명령어 모음집. (centos기준) (0) | 2020.02.25 |
| [java] jre, jdk, jvm 용어 정리 (0) | 2020.02.23 |
| [gradle] gradle window 환경에서 특정 directory delete fail. (0) | 2020.02.20 |
| [java] GC에 관하여. (0) | 2020.02.19 |
Java Runtime Environment = java virtual machine(JVM) + java platform core calsses + supporting java platform libraries
| [리눅스] 자주 사용되는 명령어 모음집. (centos기준) (0) | 2020.02.25 |
|---|---|
| [java] gc에 대하여 2 - object generation (0) | 2020.02.23 |
| [gradle] gradle window 환경에서 특정 directory delete fail. (0) | 2020.02.20 |
| [java] GC에 관하여. (0) | 2020.02.19 |
| [Git] .gitignore을 무시하고 added, modified, removed가 표시될때 (0) | 2020.02.19 |