본문 바로가기

전체 글

 (97)
[3학년-활동] (skt아카데미) 하둡에서 읽고 쓰기 맵리듀스 설명, spark 설명 https://www.youtube.com/watch?v=xacUzaFYQCI
[3학년-활동] (skt아카데미) 빅데이터의 시초2 >Hadoop(하둡) · GFS와 MapReduce 논문을 보고 Doug Cutting과 Mike Casfarella가 이를 오픈 소스로 구현 · Hadoop : 아들의 노란 코끼리 장난감의 이름을 따서 지음 · GFS, MapReduce와 유사한 구조 · GFS -> HDF, MapReduce -> MapReduce · name node가 데이터의 위치를 알려주는 역할, data node에서 실제 데이터를 조회하게 됨 · Hive, Pig, Impala, Tez등이 나오면서 계속 발전함 · 최근에는 Spark가 대세, MapReduce는 점점 사용 안함 >> 아파치 Hive · SQL로 분석 쿼리를 실행하면, 이를 MapReduce코드로 병환하여주는 도구 · MapReduce 코드는 작성하기 아주 불편..
[3학년-활동] (skt아카데미) 빅데이터의 시초1 >빅데이터의 시초 >>GFS 막대한 양의 웹 문서를 저장 조회해랴 하는데, 컴퓨터 1대로는 처리가 불가능 했습니다. 그래서 만들어진 GFS(Google File System)은 저렴한 하드웨어를 사용하면서, 대신 중복저장을 통해 파일이 유실되는 것을 방지했고 파일을 새로 추가하는데 집중하여 삭제나 파일 덮어쓰기는 어려움이 있습니다. · 여러대의 Chunk Server에 중복 저장 · Master를 통해 파일의 위치를 알아내고, Chunk Server에 직접 접속해서 데이터를 전송받음 >>MapReduce 여러대의 분산 저장소에 존재하는 데이터를 변환하거나 계산하기 위한 프레임워크이며 함수 프로그래밍의 Map() 함수와 Reduce()함수를 조합하여 효율적으로 분산 환경에서 다양한 계산을 합니다. · Ma..
[3학년-활동] (skt아카데미) 빅데이터 처리과정과 기술 +a >데이터 처리 과정 데이터 소스(생성) -> 수집 -> 저장 -> 처리 -> 분석 -> 표현 >빅데이터 처리 과정별 기술 영역 과정 영역 개요 생성 내부 데이터 데이터베이스, 파일관리시스템 외부 데이터 인터넷으로 연결된 파일, 멀티미디어, 스트림 수집 크롤링 검색 엔진의 로봇을 사용한 데이터 수집 ETL 소스 데이터의 추출/전송/변환/적재 저장 NoSQL 데이터베이스 비정형 데이터 관리 스토리지 빅데이터 저장 서버 초경량 서버 처리 맵리듀스 데이터 추출 프로세싱 다중 업무 처리 분석 NLP 자연어 처리 기계 학습 기계 학습으로 데이터의 패턴 발견 직렬화 데이터 간의 순서화 표현 가시화 데이터를 도표나 그래픽적으로 표현 획득 데이터의 획득 및 재해석 >>① 빅데이터 소스 생성과 수집기술 데이터는 소스 위치..
[빅데이터] 빅데이터란? >빅데이터란? 빅 데이터란 기존의 데이터베이스 관리도구의 능력을 넘어서는 대량의 정형 또는 심지어 데이터베이스 형태가 아닌 비정형의 데이터 집합 조차 포한한 데이터로부터 가치를 추출하고 결과를 분석하는 기술입니다. -위키피디아 >>기존의 데이터베이스 관리도구 · SQL기반의 데이터 베이스 · 주로 컴퓨터 1대에서 돌아가고, 고성능이 필요하면 비싼 컴퓨터를 사용 · 컴퓨터 1대로 처리할 수 있는 용량과 성능의 한계 >>대량(Volume) · 대량 - 컴퓨터 1대로 처리할 수 없는 양(수십TB 이상) · 3V - Volume(규모), Velocity(속도), Variety(다양성) -2012가트너 규모 : 미디어나 위치 정보, 동영상 등과 같이 다루어야 할 데이터의 크기를 말합니다. 물리적인 크기 외에 현재..
[자바복습] 2. 숫자와 문자 [데이터타입] 1. 숫자 System.out.println(1 + 2); //결과 : 3 //따옴표가 없는 숫자는 숫자로 인식하여 사칙연산을 수행한다. System.out.println("1+2"); //결과 :1+2 System.out.println("1" + "2"); //결과 : 12 2. 문자 System.out.println('가'); //문자(character) System.out.println("가나"); //문자열(string) System.out.println("가나"+"다라"); 결과 3. 이스케이프(역슬래쉬\) //" " 큰따옴표 말 풍선을 쓰고 싶을 때 // 이스케이프문자를 사용한다. //(\"는 "문법에서 벗어나서 문자로 인식하게 함 ) System.out.println(" \"비..
[기타-오류] SyntaxHighlighter Can't find brush 오류 SytaxHighlighter를 쓰는 중에 이런 오류가 뜰 때 해결방법 2가지 1. 사이에 밑에 코드를 삽입하여 준다. 2. 원하는 언어 부분에 언어가 잘 들어갔는지 확인한다. 에디터 모드에서 이 사이에 코드를 작성하면 된다. ex)JavaScript면 js, Java면 java, C++이면 cpp등 대소문자 구분해서 써주면 됩니다! 에디터 모드에서 이 사이에 코드를 작성하면 된다. 사용 언어참고>> ※ 스킨 바꾸시는 경우, html코드가 바뀌는 경우도 있으니 스킨바꾸실땐 다시한번 확인해 주세요~! 혹시나 두 방법을 했는데도 안된다면.. 설치할때 뭐가 빠졌거나 대소문자 구분이 안된걸 수 있으니 확인해 보세요!
[기타] SyntaxHighlihter 설치 및 사용법 http://alexgorbatchev.com/SyntaxHighlighter/ 블로그에서 다들 이 사이트에 가서 다운로드 하면 된다고 하던데.. 잘 모르겠다ㅠ;; 그래서 그냥 압축파일 올릴테니 이거 다운 받으시고 따라오세요~ 1. 압축파일을 저장하고 푼다(바탕화면이나 외장하드나 상관없어요!) 2. Tistory에 파일을 업로드 한다. (1) 티스토리 관리에서 HTML/CSS를 누른다. (2) 파일업로드에서 추가 버튼을 눌러 압축풀었던 파일을 찾는다. (3) 풀었던 압축파일 중 script파일과 styles파일 두개를 업로드 한다. (+설명 : script는 사용할 언어를 지정하는 파일들 / styles는 스킨을 지정하는 파일들 이에요. 용량때문에 저 두 파일만 등록해야합니다!!!) -> script파일..

티스토리툴바