A ciência de dados pode ser definida, de forma geral, como o processo de tornar os dados úteis, e a engenharia de dados é uma parte fundamental do como e do porquê. Se você pensar na ciência de dados como um carro de corrida, os engenheiros de dados são a equipe de apoio nos boxes. Eles não dirigem o carro, mas tornam o desempenho muito mais fácil. Os engenheiros de dados garantem que o fluxo de dados funcione sem problemas, monitoram os sistemas, antecipam problemas e reparam o pipeline de dados sempre que surgem. Eles extraem e coletam dados de múltiplas fontes e os carregam em um único banco de dados, fácil de consultar. Em resumo, os engenheiros de dados facilitam a vida dos cientistas de dados. Neste curso, Harshit Tyagi explica os fundamentos da engenharia de dados. Ele aborda tópicos importantes como manipulação de dados, esquema de banco de dados e desenvolvimento de pipelines ETL. Ele também detalha diversas ferramentas de engenharia de dados, como Hive, Hadoop, Spark e Airflow. Ao final deste curso, ficará muito claro por que o engenheiro de dados é uma das pessoas mais valiosas em uma organização orientada a dados.