비니닷컴 (7) 썸네일형 리스트형 [3학년-활동] (skt아카데미) 빅데이터의 시초1 >빅데이터의 시초 >>GFS 막대한 양의 웹 문서를 저장 조회해랴 하는데, 컴퓨터 1대로는 처리가 불가능 했습니다. 그래서 만들어진 GFS(Google File System)은 저렴한 하드웨어를 사용하면서, 대신 중복저장을 통해 파일이 유실되는 것을 방지했고 파일을 새로 추가하는데 집중하여 삭제나 파일 덮어쓰기는 어려움이 있습니다. · 여러대의 Chunk Server에 중복 저장 · Master를 통해 파일의 위치를 알아내고, Chunk Server에 직접 접속해서 데이터를 전송받음 >>MapReduce 여러대의 분산 저장소에 존재하는 데이터를 변환하거나 계산하기 위한 프레임워크이며 함수 프로그래밍의 Map() 함수와 Reduce()함수를 조합하여 효율적으로 분산 환경에서 다양한 계산을 합니다. · Ma.. [3학년-활동] (skt아카데미) 빅데이터 처리과정과 기술 +a >데이터 처리 과정 데이터 소스(생성) -> 수집 -> 저장 -> 처리 -> 분석 -> 표현 >빅데이터 처리 과정별 기술 영역 과정 영역 개요 생성 내부 데이터 데이터베이스, 파일관리시스템 외부 데이터 인터넷으로 연결된 파일, 멀티미디어, 스트림 수집 크롤링 검색 엔진의 로봇을 사용한 데이터 수집 ETL 소스 데이터의 추출/전송/변환/적재 저장 NoSQL 데이터베이스 비정형 데이터 관리 스토리지 빅데이터 저장 서버 초경량 서버 처리 맵리듀스 데이터 추출 프로세싱 다중 업무 처리 분석 NLP 자연어 처리 기계 학습 기계 학습으로 데이터의 패턴 발견 직렬화 데이터 간의 순서화 표현 가시화 데이터를 도표나 그래픽적으로 표현 획득 데이터의 획득 및 재해석 >>① 빅데이터 소스 생성과 수집기술 데이터는 소스 위치.. [자바복습] 2. 숫자와 문자 [데이터타입] 1. 숫자 System.out.println(1 + 2); //결과 : 3 //따옴표가 없는 숫자는 숫자로 인식하여 사칙연산을 수행한다. System.out.println("1+2"); //결과 :1+2 System.out.println("1" + "2"); //결과 : 12 2. 문자 System.out.println('가'); //문자(character) System.out.println("가나"); //문자열(string) System.out.println("가나"+"다라"); 결과 3. 이스케이프(역슬래쉬\) //" " 큰따옴표 말 풍선을 쓰고 싶을 때 // 이스케이프문자를 사용한다. //(\"는 "문법에서 벗어나서 문자로 인식하게 함 ) System.out.println(" \"비.. [기타-오류] SyntaxHighlighter Can't find brush 오류 SytaxHighlighter를 쓰는 중에 이런 오류가 뜰 때 해결방법 2가지 1. 사이에 밑에 코드를 삽입하여 준다. 2. 원하는 언어 부분에 언어가 잘 들어갔는지 확인한다. 에디터 모드에서 이 사이에 코드를 작성하면 된다. ex)JavaScript면 js, Java면 java, C++이면 cpp등 대소문자 구분해서 써주면 됩니다! 에디터 모드에서 이 사이에 코드를 작성하면 된다. 사용 언어참고>> ※ 스킨 바꾸시는 경우, html코드가 바뀌는 경우도 있으니 스킨바꾸실땐 다시한번 확인해 주세요~! 혹시나 두 방법을 했는데도 안된다면.. 설치할때 뭐가 빠졌거나 대소문자 구분이 안된걸 수 있으니 확인해 보세요! [기타] SyntaxHighlihter 설치 및 사용법 http://alexgorbatchev.com/SyntaxHighlighter/ 블로그에서 다들 이 사이트에 가서 다운로드 하면 된다고 하던데.. 잘 모르겠다ㅠ;; 그래서 그냥 압축파일 올릴테니 이거 다운 받으시고 따라오세요~ 1. 압축파일을 저장하고 푼다(바탕화면이나 외장하드나 상관없어요!) 2. Tistory에 파일을 업로드 한다. (1) 티스토리 관리에서 HTML/CSS를 누른다. (2) 파일업로드에서 추가 버튼을 눌러 압축풀었던 파일을 찾는다. (3) 풀었던 압축파일 중 script파일과 styles파일 두개를 업로드 한다. (+설명 : script는 사용할 언어를 지정하는 파일들 / styles는 스킨을 지정하는 파일들 이에요. 용량때문에 저 두 파일만 등록해야합니다!!!) -> script파일.. [3학년-활동] (skt아카데미) 빅데이터란? HDFS란? 2017년 7월 20일 1시부터 7시까지 t아카데미 토크ON세미나 (8차)"빅데이터(BigData)플랫폼의 이해"세미나 참여했고 세미나에서 들은 내용과 제가 세미나에 가기전 따로 책으로 공부한 내용들을 합쳐서 정리해봤습니다.생각보다 세미나에서 나간 내용들이 많이 어려웠기때문에 모든 내용은 정리하지 못했고 제가 조금 공부한 부분까지만 정리했습니다. 1. 빅데이터란? 빅 데이터란 기존 데이터베이스 관리도구의 능력을 넘어서는 대량(수십 테라바이트)의 정형 또는 심지어 데이터베이스 형태가 아닌 비정형 데이터 집합조차 포함한 데이터로부터 가치를 추출하고 결과를 분석하는 기술이다. 각종 빅 데이터는 SNS나 이메일 서비스, youtube등 개인들이 각각의 서비스에 저장하는 데이터들을 말하며 모든 데이터가 빅 데이터.. [2학년-활동] 정보보안 컨퍼런스 7월 13일이 정보보안의 날을 맞이해서 정보보안 컨퍼런스에 참가하게 되었다. 더 케이 호텔이라고 해서 뭔가 엄청난 사람들이 오고 막 격식있게 차려입고 올 줄 알았는데 다행히도 나같은 쪼렙 대학생들도 많이 보였다.. 휴..ㅋㅋㅋ 암튼 2학년 1학기때 정보보안시간에 발표했던 보안기업들을 한눈에 볼 수 있다는 소식에 동기 한명과 같이 구경하러 갔다 ㅎㅎ 대한민국의 정보보안 역사를 처음부터 끝까지 한눈에 볼 수 있게 만들어 놓은 판도 있었고, 수업시간에 내가 조사했던 기업인 이글루시큐리티도 봤었다..ㅋㅋ 중소기업들 최신(주력)기술들을 설명하는 부스를 한자리에서 볼 수 있었다. 밑에 층으로 내려가니까 인력채용 박람회도 있었는데 여기에는 이력서를 가지고 줄을 길게 선 사람들도 많았다.. ㅎㄷㄷ 한 자리에서 많은 기.. 이전 1 다음
