728x90
반응형
[목차]
[빅데이터 분석기사] 시험 과목 및 주요 내용 (필기)
빅데이터 분석기사 (필기) 시험 과목 및 주요 내용 출처: 데이터자격검정 (dataq.or.kr) 필기과목명 주요항목 세부항목 세세항목 빅데이터 분석 기획 빅데이터의 이해 빅데이터 개요 및 활용 빅데이
puppy-foot-it.tistory.com
빅데이터 분석기획 - 빅데이터의 이해
<빅데이터 개요 및 활용>
1. 빅데이터 특징
(1) 빅데이터
1) 빅데이터 (Big Data) 개념
- 빅데이터는 막대한 양의 정형 및 비정형 데이터
- 데이터로부터 가치를 추출하고 결과를 분석하는 기술의 의미로도 통용
- 데이터에서부터 가치를 추출하는 것은 통찰, 지혜를 얻는 과정
- 데이터를 수집, 저장, 관리, 분석하는 기존의 관리 방법으로는 막대한 양의 데이터를 처리하기 어려울 때 빅데이터를 사용
2) 데이터의 양을 측정하는 단위 - KB MB GB TB PB EB ZB YB
| 기호 | 이름 | 값 |
|
| KB | 킬로바이트 | 1KB = 10^3 Bytes | 2^10 Bytes |
| MB | 메가바이트 | 1MB = 10^3 KB = 10^6 Bytes | 2^20 Bytes |
| GB | 기가바이트 | 1GB = 10^3 MB = 10^9 Bytes | 2^30 Bytes |
| TB | 테라바이트 | 1TB = 10^3 GB = 10^12 Bytes | 2^40 Bytes |
| PB | 페타바이트 | 1PB = 10^3 TB = 10^15 Bytes | 2^50 Bytes |
| EB | 엑시바이트 | 1EB = 10^3 PB = 10^18 Bytes | 2^60 Bytes |
| ZB | 제타바이트 | 1ZB = 10^3 ZB = 10^21 Bytes | 2^70 Bytes |
| YB | 요타바이트 | 1YB = 10^3 YB = 10^24 Bytes | 2^80 Bytes |
(2) 빅데이터 특성 - 규모 / 다양성 / 속도 / 가치 / 신뢰성 / 정확성 / 휘발성
| 특성 | 설명 |
| 규모 (Volume) |
- 빅데이터 분석 규모에 관련된 특징 - ICT 기술 발전으로 과거의 텍스트 데이터부터 SNS로부터 수집되는 사진, 동영상 등의 다양한 멀티미디어 데이터까지 디지털 정보량의 기하급수적 증가 |
| 다양성 (Variety) | - 빅데이터 자원 유형에 관련된 특징 - 정형 데이터뿐만 아니라 비정형, 반정형 데이터를 포함 |
| 속도 (Velocity) | - 빅데이터 수집, 분석, 활용 속도에 관련된 특징 - 사물 정보, 스트리밍 정보 등 실시간성 정보의 생성 속도 증가에 다라 처리 속도 가속화 요구 - 가치 있는 정보 활용을 위해 데이터 처리 및 분석 속도의 중요성 증가 |
| 가치 (Value) | - 빅데이터 수집 데이터를 통해 얻을 수 있는 가치 - 비즈니스나 연구에 활용되어 유용한 가치를 끌어낼 수 있는가에 대한 문제 - 빅데이터의 가치는 데이터의 정확성 및 시간성과 관련됨 |
| 신뢰성 (Veracity) | - 빅데이터의 수집 대상 데이터가 가지는 신뢰에 관련된 특징 - 방대한 데이터에서 노이즈 및 오류 제거를 통해 활용 데이터에 대한 품질과 신뢰성 제고 요구 |
| 정확성 (Validity) | - 빅데이터의 수집 대상 데이터가 가지는 유효성과 정확성 - 데이터의 규모가 아무리 크더라도 질 높은 데이터를 활용한 정확한 분석 수행이 없다면 의미가 없음 - 데이터가 타장한지 정확한지에 대한 여부는 의사결정의 중요한 요소 |
| 휘발성 (Volatility) | - 빅데이터의 수집 대상 데이터가 의미가 있는 기간 - 데이터가 얼마나 오래 저장될 수 있고, 타당하여 오랫동안 쓰일 수 있을지에 관한 사항 - 빅데이터는 장기적인 관점에서 유용한 가치를 창출해야 함 |
(3) 데이터 지식경영
- 데이터 기반 지식경영의 핵심 이슈는 암묵지와 형식지의 상호작용에 있음
암묵지 (Tacit Knowledge)
- 학습과 경험을 통해 개인에게 체화되어 있지만 겉으로 드러나지 않는 지식
- 사회적으로 중요하지만 다른 사람에게 공유되기 어려움
형식지 (Explicit Knowledge)
- 문서나 매뉴얼처럼 형상회된 지식
- 전달과 공유가 용이
- 상호작용에는 공통화, 표출화, 연결화, 내면화가 있음
| 상호작용 | 내용 |
| 공통화 (Socialization) |
다른 사람과의 대화 등 상호작용을 통해 개인이 암묵지를 습득하는 단계 |
| 표출화 (Externalization) |
형식지 요소 중의 하나이며 개인에게 내재된 경험을 객관적인 데이터인 문서나 매체로 저장하거나 가공, 분석하는 과정 |
| 연결화 (Combination) |
형식지가 상호결합하면서 새로운 형식지를 창출하는 과정 |
| 내면화 (Internalization) |
행동과 실천교육 등을 통해 형식지가 개인의 암묵지로 체화되는 단계 |
2. 빅데이터 가치
(1) 빅데이터 가치
| 가치 | 설명 |
| 경제적 자산 | - 새로운 기회를 창출하고, 위험을 해결하여 사회 및 경제 발전의 엔진 역할을 수행 |
| 불확실성 제거 | - 사회현상, 현실 세계의 데이터를 기반으로 한 패턴 분석과 미래 전망 - 여러 가지 가능성에 대한 시나리오 시뮬레이션 |
| 리스크 감소 | - 환경, 소셜 네트워크, 모니터링 정보의 패턴 분석을 통해 위험 징후 및 이상 신호 포착 - 이슈를 사전에 인지 및 분석하고 빠른 의사결정과 실시간 대응 |
| 스마트한 경쟁력 | - 대규모 데이터 분석을 통한 상황 인지, 인공지능 서비스 기능 - 개인화, 지능화 서비스 제공 확대 - 트렌드 변화 분석을 통한 제품 경쟁력 확보 |
| 타 분야 융합 | - 타 분야와의 융합을 통한 새로운 가치 창출 - 방대한 데이터 활용을 통한 새로운 융합시장 창출 |
(2) 빅데이터의 가치 산정이 어려운 이유
ㄱ. 데이터 활용 방식의 다양화
- 데이터의 재사용, 데이터의 재조합, 다목적용 데이터 개발 등이 일반화되면서 특정 데이터를 언제/어디서/누가 활용할지 알 수 없어서
- 데이터의 창의적 조합으로 인해 기존에 풀 수 없는 문제를 해결하는 데 도움을 주기 때문에
ㄴ. 새로운 가치 창출
- 빅데이터 시대에 데이터가 기존에 없던 가치를 창출하기 때문에
ㄷ. 분석기술의 급속한 발전
- 비용 문제로 인해 분석할 수 없었던 것을 저렴한 비용을 분석하면서 활용도가 증가
(3) 빅데이터 영향
| 대상 | 영향 | 설명 |
| 기업 | - 혁신 수단 제공 - 경쟁력 강화 - 생산성 향상 |
- 소비자의 행동을 분석하고, 시장 변동을 예측해서 비즈니스 모델을 혁신하거나 신사업 발굴 - 원가절감, 제품 차별화, 기업 활동의 투명성 제고 등을 활용하여 경쟁사보다 경쟁 우위를 확보 |
| 정부 | - 환경 탐색 - 상황 분석 - 미래 대응 가능 |
- 날씨, 교통 등 통계 데이터를 수집해 사회 변화를 추정하고 각종 재해 관련 정보를 추출 - 사회 연결망 분석, 시스템 다이내믹스와 같은 분석 방식을 통해 미래 의제 도출 |
| 개인 | - 목적에 따른 활용 | - 빅데이터 서비스를 저렴한 비용으로 활용 - 적시에 필요한 정보를 획득 |
(4) 빅데이터 위기 요인
- 사생활 침해: 목적 외로 활용된 개인정보가 포함된 데이터의 경우 사생활 침해를 넘어 사회-경제적 위협으로 확대
- 책임 원칙 훼손: 예측 기술과 빅데이터 분석 기술이 발전하면서 분석 대상이 되는 사람들이 예측 알고리즘의 희생양이 될 가능성 증가
- 데이터 오용: 데이터 분석은 실제 일어난 일에 대한 데이터에 의존하기 때문에 이를 바탕으로 미래를 예측하는 것은 언제나 맞을 수는 없는 오류 존재 / 잘못된 지표 사용
[위기요인 통제 방안]
| 통제 방안 | 위기 요인 | 설명 |
| 책임의 강조 | 사생활 침해 | - 빅데이터를 통한 개인정보 침해 문제 해결을 위해 개인정보를 사용하는 사용자의 '책임'을 통해 해결하는 방안 강구 - 사용자에게 개인정보의 유출 및 동의 없는 사용으로 발생하는 피해에 대한 책임을 지게 함으로써 사용 주체가 적극적인 보호 장치를 마련할 수 있도록 함 |
| 결과 기반의 책임 적용 | 책임 원칙 훼손 | - 책임의 강조를 위해서는 기존의 원칙 보강 및 강화와 예측 자료에 의한 불이익 가능성을 최소화하는 장치를 마련하는 것이 필요 - 판단을 근거로 오류가 있는 예측 알고리즘을 통해서는 불이익을 줄 수 없으며, 빙자를 위한 피해 최소화 장치 마련 필요 |
| 알고리즘에 대한 접근 허용 |
데이터 오용 | - 예측 알고리즘의 부당함을 반증할 수 있는 '알고리즘에 대한 접근권' 제공 - 알고리즘을 통해 불이익을 당한 사람들을 대변할 알고리즈미스트라는 전문가 필요 |
※ 알고리즈미스트 (Algorithmist)
알고리즘코딩 해석을 통해 빅데이터 알고리즘에 의해 부당하게 피해를 입은 사람을 구제하고, 데이터 사이언티스트가 한 일로 인한 부당 피해를 막는 역할을 하는 전문 인력
(5) 분석 가치 에스컬레이터 (Analystic Value Escalator) - 묘사 분석 > 진단 분석 > 예측 분석 > 처방 분석
- 가트너가 빅데이터의 가치를 묘사 분석, 진단 분석, 예측 분석, 처방 분석의 4단계로 정의한 기법
| 단계 | 설명 |
| 묘사 분석 (Descriptive Analysis) |
- 분석의 가장 기본적인 지표를 활용하는 단계 - 과거에 어던 일이 일어났고, 현재는 무슨 일이 일어나고 있는지 확인 |
| 진단 분석 (Diagnostic Analysis) |
- 묘사 단계에서 찾아낸 분석의 원인을 이해하는 단계 - 데이터를 기반으로 왜 발생했는지 이유를 확인 |
| 예측 분석 (Predictive Analysis) |
- 데이터를 통해 기업 혹은 조직의 미래, 고객의 행동 등을 예측하는 단계 - 무슨 일이 일어날 것인지를 예측 |
| 처방 분석 (Prescriptive Analysis) |
- 예측을 바탕으로 최적화하는 단계 - 무엇을 해야할 것인지를 확인 |
▶ 높은 난도를 수반하는 데이터 분석은 더 많은 가치 창출
3. 빅데이터 산업의 이해
(1) 빅데이터 산업 개요
- 스마트폰, SNS, 사물인터넷 확산 등에 따라 데이터 활용이 증가하여 빅데이터는 신성장동력으로 급부상
- 클라우드 컴퓨팅 기술의 발전으로 데이터 처리 비용이 급격하게 감소하여 빅데이터 발전
- 주요국 및 글로벌 기업은 빅데이터 산업 육성 및 활용에 주력
- 우리나라는 데이터 생산량이 많은 산업(통신, 제조업 등)이 발달해 잠재력이 크지만, 불확실성에 따른 투자 리스크 등으로 활용은 저조
(2) 산업별 빅데이터 활용
4. 빅데이터 조직 및 인력
(1) 빅데이터 조직 설계
ㄱ. 빅데이터 업무 프로세스
- 빅데이터 도입: 빅데이터 서비스 제공 검토. 빅데이터 시스템 구축을 위한 빅데이터 도입 기획, 기술 검토, 도입 조직 구성, 예산 확보 등 수행
- 빅데이터 구축: 빅데이터 플랫폼 구축. 구축을 위해서는 요구사항 분석, 설계, 구현, 테스트 단계 수행
- 빅데이터 운영: 빅데이터 플랫폼 운영, 데이터 및 빅데이터 분석 모델 운영, 빅데이터 운영 조직, 빅데이터 운영 예산 고려
ㄴ. 조직 구조 설계 요소 및 유형
[요소]
- 업무활동: 조직의 미션과 목적을 달성하기 위하여 과업 수행을 위해 수직 업무 활동과 수평 업무 활동으로 구분
- 부서화: 조직의 미션과 목적을 효율적으로 달성하기 위한 조직 구조 유형 설계
- 보고 체계: 조직의 목표 달성을 위하여 업무 활동 및 부서의 보고 체계를 설계
| 수직 업무 활동 | 경영 계획, 예산 할당 등 우선순위 결정 |
| 수평 업무 활동 | 업무 프로세스 절차별로 업무 배분 |
[구조 유형]
ㄷ. 조직 구조 설계 특성
| 특성 | 설명 |
| 공식화 | - 업무의 수행 절차, 수행 방법, 작업 결과 등의 기준을 사전에 설정하여 공식화 |
| 분업화 | - 조직의 목표 달성을 위하여 업무 수행 시 업무를 분할하여 수행 - 업무의 성격에 따라 1) 수직적 분할: 여러 단위로 나눔 2) 계획, 감독, 실무 업무 실행 등의 수준에 따라 나눔 |
| 직무 전문화 | - 직무 전문화는 수행 업무에 활용되는 직무 전문성의 유형을 의미 - 직무 전문성에 따라 생산성이 증대되므로 전문 지식과 경험이 중요 |
| 통제 범위 | - 관리자가 효율적이며 효과적으로 관리할 수 있는 조직의 인원수 |
| 의사소통 및 조정 | - 업무 수행 시 의사소통 1) 수직적인 활동: 업무의 지시, 보고, 피드백 등 2) 수평적인 활동: 문제 해결을 위한 협업 등 |
(2) 조직 역량
- 조직 구성원의 약량을 확보하여 조직 구성원들이 조직이 기대한 성과를 낼 수 있도록 하는 중요 요소
- 기업이나 조직을 지속적으로 경영하기 위해서는 조직 역량의 확보 필수
[모델링]
데이터 사이언티스트의 요구 역량
| 소프트 스킬 (Soft Skill) | 모든 직무에서 사용할 수 있는 기술 | - 커뮤니케이션 능력 - 논리적 비판 능력, 창의적 사고력, 호기심 - 스토리텔링 능력, 시각화 능력 |
| 하드 스킬 (Hard Skill) | 해당 업무를 수행하기 위해 필요한 실질적인 기술 | - 목적에 맞는 최적 분석 설계, 노하우 축적 - 빅데이터 관련 기법 및 다양한 방법론 습득 |
[분야 직무별 업무]
(3) 데이터 거버넌스 (Data Governance)
- 기업에서 사용하는 데이터의 가용성, 유용성, 통합성, 보안성을 관리하기 위한 정책과 프로세스를 다루며 프라이버시, 보안성, 데이터 품질, 관리 규정 준수를 강조하는 모델
- 구성요소
| 구분 | 설명 |
| 원칙 | -데이터를 유지-관리하기 위한 지침과 가이드 - 품질 기준, 보안, 변경 관리 |
| 조직 | - 데이터를 관리할 조직의 역할과 책임 - 데이터 관리자, 데이터베이스 관리자, 데이터 아키텍트 등 |
| 프로세스 | - 데이터 관리를 위한 활동과 체계 - 작업 절차, 모니터링 활동, 측정 활동 등 |
- 체계
| 구분 | 설명 |
| 데이터 표준화 | - 데이터 표준 용어 설명, 명명 규칙, 메타데이터 구축, 데이터 사전 구축 - 데이터 표준 준수 진단, 논리-물리 모델 표준에 맞는지 검증 |
| 표준화 활동 | - 데이터 거버넌스 체계 구축 이후 표준 준수 엽루르 주기적으로 점검 및 모니터링 실시 |
| 데이터 관리 체계 | - 메타데이터와 데이터 사전의 관리 원칙 수립 |
| 데이터 저장소 관리 | - 메타데이터 및 표준 데이터를 관리하기 위한 전사 차원의 저장소 구성 |
(4) 분석 준비도
- 데이터 분석 준비도 프레임워크
- 조직평가를 위한 성숙도 단계
| 단계 | 설명 | 조직-역량 부문 |
| 도입 단계 | 분석을 시작해 환경과 시스템 구축 | - 일부 부서에서 시행 - 담당자 역량에 의존 |
| 활용 단계 | 분석 결과를 실제 업무에 적용 | - 전문 담당 부서에서 수행 - 분석 기법 도입 - 관리자가 분석 수행 |
| 확산 단계 | 전사 차원에서 분석을 관리하고 공유 | - 전사 모든 부서 수행 - 분석 전문가 조직 운영 - 데이터 사이언티스트 확보 |
| 최적화 단계 | 분석을 진화시켜서 혁신 및 성과 향상에 기여 | - 데이터 사이언스 그룹 - 경영진 분석 활용 - 전략 연계 |
- 사분면 분석 유형
다음글
728x90
반응형
'자격증 > 빅데이터분석기사' 카테고리의 다른 글
| [빅데이터 분석기사] 1과목 빅데이터 분석 기획 (2-2) (0) | 2024.03.11 |
|---|---|
| [빅데이터 분석기사] 1과목 빅데이터 분석 기획 (2-1) (0) | 2024.03.11 |
| [빅데이터 분석기사] 1과목 빅데이터 분석 기획 (1-2) (0) | 2024.03.10 |
| [빅데이터 분석기사] 시험 과목 및 주요 내용 (필기) (0) | 2024.03.10 |
| 빅데이터분석기사 필기 접수! (0) | 2024.03.05 |
