【한글자막】 스파크 스트리밍과 Scala 로 빅 데이터 스트리밍하기 (실전편)

실시간으로 구조화된 스파크 스트리밍, 카프카 통합 및 실시간 스트리밍 빅 데이터를 다루는 스파크 스트리밍 튜토리얼

Ratings 4.63 / 5.00
【한글자막】 스파크 스트리밍과 Scala 로 빅 데이터 스트리밍하기 (실전편)

What You Will Learn!

  • 스파크스트리밍을 사용하여 실시간 대용량 데이터를 스트림 처리합니다
  • 카프카, 플룸, 키네시스와 같은 데이터 소스를 스파크스트리밍을 이용하여 통합합니다
  • 구조화된 스파크 2의 스트리밍 응용 프로그램 인터페이스를 사용합니다
  • 스칼라 프로그래밍 언어를 사용하여 스파크 응용 프로그램을 만듭니다
  • 출력된 결과는 실시간 데이터를 카산드라 또는 파일 시스템으로 변환시킨 것을 배웁니다
  • 스파크 스트리밍을 스파크 구조화 질의어와 통합하여 실시간으로 스트리밍 데이터를 질문합니다
  • 스트리밍 데이터를 사용하여 실시간 교육에 사용하고 머신러닝 모델을 가르쳐서 실시간 예측에 이용합니다
  • 아파치 로그 액세스 데이터를 수집하고 스트림을 변환합니다
  • 실시간 트위터 피드 스트림을 수용합니다
  • 연속적인 입력 데이터 스트림을 거쳐 네트워크 연결 상태를 추적할 수 있는 데이터를 유지합니다
  • 윈도우 시간 경과에 따른 스트리밍 데이터를 질문합니다

Description

  • 스파크 스트리밍스칼라로 빅데이터 스트리밍!

  • 대량의 데이터 세트를 해결하세요!

  • 실무에 바로 적용할 수 있습니다!


스파크 스트리밍과 스칼라로 빅 데이터 스트리밍하기 (실전편) 강의를 선택해야 하는 이유

현재 IntelliJ 통합개발환경에 맞춰 업데이트 됐습니다!

“빅 데이터” 분석은 인기있고 대단히 가치있는 능력입니다. 중요한 건 “빅 데이터”의 흐름이 멈추지 않는다는 것입니다! 스파크 스트리밍은 대량의 데이터 세트를 생성할 때 처리하기 위한 새롭고 신속하게 개발되는 기술입니다 - 항상 실시간으로 분석 업데이트를 할 수 있는데 밤마다 분석을 해야할까요? 대형 웹사이트의 방문 사이트 동향 데이터, 대규모 “사물 인터넷” 배포의 센서 데이터, 재무 데이터 등 그 어떤 것이든 스파크 스트리밍은 데이터가 생성될 때 항상 데이터를 변환하고 분석할 수 있는 강력한 기술입니다.


여러분은 아마존과 IMDb 선임 매니저와 전 엔지니어분으로부터 해당 내용을 배우게 될 것입니다.

이 코스 과정에서는 실제 라이브 트위터 데이터, 아파치 액세스 로그의 시뮬레이션 동향, 그리고 심지어 머신러닝 모델을 훈련하는 곳에 사용되는 데이터까지 접해볼 수 있습니다! 직접 집에서 컴퓨터로 스파크 스트리밍 작업을 작성하고 실행해 볼 수 있습니다. 그리고 과정이 끝날 때쯤 여러분에게 실제 하둡 클러스터로 이러한 작업을 가져와서 생산 환경에서도 실행하는 방법을 보여줄 것입니다.


이 교육과정은 매우 실용적이고 바로 수행 가능한 활동으로 구성되어 여러분의 교육을 강화하는 데 도움이 됩니다. 강의가 끝날 무렵, 여러분은 스파크 스트리밍 스크립트를 스칼라를 활용하여 자신있게 작성할 줄 알게되며, 완전히 새로운 방식으로 거대한 양의 데이터를 해결하는데 준비가 되어있을 것입니다. 스파크 스트리밍이 이 모든 걸 가능하게 했다는 사실에 매우 놀랄 것입니다!


스파크 스트리밍과 스칼라로 빅 데이터 스트리밍하기 (실전편) 강의에서는 아래의 내용을 배울 수 있습니다:


  • 스칼라 프로그래밍 언어로 된 집중 훈련을 수강하세요

  • 아파치 스파크가 클러스터에서 어떻게 운영되는지 알아보세요

  • 스파크 스트리밍으로 불연속의 스트림을 설정하고 데이터가 수신되면 변환할 수 있습니다

  • 실시간으로 구조화된 스트리밍을 이용하여 데이터 프레임으로 스트리밍합니다

  • 슬라이딩 윈도우에서 시간 경과에 따른 스트리밍 데이터 분석

  • 여러 데이터 스트림 전반에 걸쳐 상태 정보 유지하게 됩니다

  • 카프카, 플룸, 및 키네시스와 같은 확장성이 뛰어난 데이터 소스와 스파크 스트리밍을 연결하는 방법을 습득합니다

  • 카산드라와 같은 구조화 질의어만을 사용하지 않는 데이터베이스에 실시간으로 데이터 스트림을 폐기하는 방법

  • 스트리밍 된 데이터에 실시간으로 구조화 질의어 쿼리를 실행합니다

  • 스트리밍 데이터로 머신러닝 모델을 실시간으로 훈련하고, 이 모델을 사용하여 시간이 지남에 따라 계속 향상되는 예측을 할 수 있습니다

  • 아마존의 빅데이터 프레임워크 실행을 간소화하는 관리형 클러스터 플랫폼을 사용하여 자체적으로 내장된 스파크 스트리밍 코드를 실제 하둡 클러스터에 패키징, 배포 및 실행하는 방법을 배웁니다.


강의를 들으시고 강의와 관련하여 궁금하신 점은 무엇이든 Q&A에 남기실 수 있지만, 꼭 영어로 남겨주세요. 그래야 답변을 드릴 수 있습니다. :)


강의에서 만나요!

Who Should Attend!

  • 프로그래밍 사전 지식이나 스크립팅 능력이 있는 학생
  • “빅 데이터”가 지속적으로 생성되는 회사에서 근무하고 있거나 해당 기업에서 근무하고 싶은 관련 종사자
  • 이전 소프트웨어 공학이나 프로그래밍 경험이 없는 학생들은 먼저 프로그래밍 입문 과정을 수강해야 합니다

TAKE THIS COURSE

Tags

  • Apache Spark

Subscribers

167

Lectures

37

TAKE THIS COURSE



Related Courses