Tech/Bigdata Platform 3

Apache Hadoop, Spark, Kafka, Airflow 기본 개념

Big data technologies출처 : https://www.linkedin.com/pulse/100-open-source-big-data-ml-architecture-papers-sequel-anil-madan/Apache 소프트웨어 재단이란?ChatGPT의 답변아파치 소프트웨어 재단(Apache Software Foundation, ASF)은 오픈소스 소프트웨어를 개발, 유지보수, 관리하는 비영리 단체입니다. 아파치 소프트웨어 재단은 1999년에 설립되었으며, 오픈소스 프로젝트의 개발과 커뮤니티 활동을 지원하고 이를 통해 다양한 소프트웨어를 제공합니다.ASF는 전 세계적인 개발자들과 기업들의 참여를 유도하고, 오픈소스 프로젝트의 개발과 유지보수를 위한 인프라 및 지원을 제공합니다. ASF의 목..

[Hive] HiveQL 주요 내장함수 정리 part1 (DDL)

apache hive하둡 환경에서 데이터를 관리하고 쿼리하기 위한 데이터 웨어하우싱 솔루션SQL과 유사한 HiveQL을 사용하여 데이터 처리주로 배치 작업, 대용량 데이터 분석을 위해 사용HiveQL Data Types https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types LanguageManual Types - Apache Hive - Apache Software FoundationHive Data Types Overview This lists all supported data types in Hive. See Type System in the Tutorial for additional information. For data typ..