Искра обучения: молниеносный анализ данных на русском

Объемы данных растут, они поступают быстрее и в самых разных форматах — и все это необходимо обрабатывать в больших масштабах для аналитики или машинного обучения. Но как эффективно обрабатывать такие разнообразные объемы данных? На помощь приходит Apache Spark.

Обновленное второе издание, включающее Spark 3.0, показывает инженерам и специалистам по анализу данных, почему структура и унификация в Spark имеют значение. В частности, в этой книге объясняется, как выполнять простой и сложный анализ данных и использовать алгоритмы машинного обучения. Благодаря пошаговым инструкциям, фрагментам кода и блокнотам вы сможете:

• Изучите высокоуровневые структурированные API на Python, SQL, Scala или Java.
• Разберитесь в работе Spark и SQL-движка.
• Проверяйте, оптимизируйте и отлаживайте операции Spark с помощью конфигураций Spark и пользовательского интерфейса Spark.
• Подключение к источникам данных: JSON, Parquet, CSV, Avro, ORC, Hive, S3 или Kafka.
• Выполняйте анализ пакетных и потоковых данных с помощью структурированной потоковой обработки.
• Создавайте надежные конвейеры обработки данных с помощью программного обеспечения с открытым исходным кодом Delta Lake и Spark.
• Разрабатывайте конвейеры машинного обучения с помощью MLlib и внедряйте модели в производство, используя MLflow.