반응형 빅데이터2 [Hadoop] localhost:9000 failed on connection 에러 해결하기 문제1 우분투를 분명 잘 끄고 켰다 생각했는데 hadoop에서 mkdir 명령어를 실행하였을 때 localhost:9000 failed on connection에러가 발생하였다. 초반에는 이것때매 우분투를 삭제하고 다시 설치했었는데, 이번에는 해결했다. 해결 dfs daemon을 실행시키지 않아서 생긴 문제였다. $ start-dfs.sh 위의 코드를 통해 실행시켜주자. 문제2 근데 다시 mkdir 명령어를 실행해보니 Name node is in safemode. 라는 에러가 또 발생하였다... 후 이것도 초반에 해결 못한 문제였는데 이번에는 다시 해결을 했다. 해결 $ hadoop dfsadmin -safemode leave 위 명령어를 문제1의 해결 코드를 실행했던 위치에서 같이 실행시켜주자. 이 에.. 2022. 2. 24. 빅데이터 분산처리 시스템 하둡(hadoop)의 개념과 맵 리듀스(MapReduce)의 개념 하둡이란? - 하둡이란 간단한 프로그래밍 인터페이스를 통해 대용량 데이터에 대한 분산처리를 하는 소프트웨어 라이브러리 이다. 하둡의 시작은 '데이터를 읽고 처리하는 속도가 데이터의 양을 따라잡지 못한다.' 라는 문제에서 출발했다. 하둡의 두가지 키워드 1. scalable : 확장 가능함 - 자원을 추가하더라도 코드의 수정 등을 할 필요 없이 동일한 방법으로 프로세싱을 할 수 있다는 의미 2. distributed computing : 분산 컴퓨팅 - Job을 적절한 크기로 쪼갠 후, 분산된 자원원을 통해 계산하고 결과를 합치는 작업 맵 리듀스(Map-Reduce) 맵 리듀스란? - distributed computing 을 위한 프레임워크로, 하둡의 서브 프로젝트라고 볼 수 있다. - 맵리듀스는 Job.. 2022. 2. 21. 이전 1 다음
