超速入門!【データサイエンスへの最初の一歩】PythonとSparkで学ぶデータ分析のための前処理と分散処理 一気見講座
【データサイエンス/データエンジニアリングシリーズ】最強のビッグデータ処理エンジンApache Spark~ABC人材のためのPythonで行う分散処理と前処理 を一挙に習得しよう！
Ratings 4.06 / 5.00
What You Will Learn!
- Spark(PySpark)で実際に現場で使われる技法が一挙に学べます
- 構造化データに対するデータエンジニアリング
- 非構造化データに対するデータエンジニアリング
- ExcelをSparkを使ってデータエンジニアリングしてみよう(Pandas to Spark)
- PDFをSparkを使ってデータエンジニアリングしてみよう(six to Saprk)
- 分散処理とは何か？Sparkとは何か？
- 実際の開発で気をつけるべきことは何か？
- 関数の羅列ではなく、「現場ではどの様に使われるか？」も解説します
Description
現役のデータエンジニアがレクチャーします！
AIや機械学習を行う際に最も時間のかかる作業は、データの準備とそれらの管理です。これらの作業のことをデータエンジニアリングと呼びます。実に８０％以上の時間をデータエンジニアリング(データサイエンスのための前処理など)に割いてるのが現状です。
本コースではApache Sparkを使ったデータエンジニアリングについて学びます。
ポイント：
本コースでは分散処理のデファクトとなりつつあるSparkについて学びます。
Apache Sparkはビッグデータ処理で多く使われている分散処理エンジンです。
今回はPythonと組み合わせた実際の現場で使われるPySparkを使った操作を一挙にまとめました。
特徴：
データエンジニアリングよりの講座です。
難しいいサイエンスや数学は出てきませんが、データの3職種のうちの一つである「データエンジニア」のためのコースです。
普段Pythonを使っている方やこれからAIやビッグデータの分野にエンジニアとして参画してデータを自在に操りたいという方にはぴったりです
ソースコードや解説は以下のGitHubリポジトリにあります。
動画内ではGitHubの資料に加え補足をしながら解説を進めています。
Who Should Attend!
- 非構造のデータ(Excel、PDF、動画ファイル)に対するデータエンジニアリングを学びたい方
Tags
- Data Analysis
- Python
- Adobe Express (Spark)
- Data Preprocessing
Subscribers
532
Lectures
29
TAKE THIS COURSE
