호기심을 넘어 성장하는 기록

Big data technologies출처 : https://www.linkedin.com/pulse/100-open-source-big-data-ml-architecture-papers-sequel-anil-madan/Apache 소프트웨어 재단이란?ChatGPT의 답변아파치 소프트웨어 재단(Apache Software Foundation, ASF)은 오픈소스 소프트웨어를 개발, 유지보수, 관리하는 비영리 단체입니다. 아파치 소프트웨어 재단은 1999년에 설립되었으며, 오픈소스 프로젝트의 개발과 커뮤니티 활동을 지원하고 이를 통해 다양한 소프트웨어를 제공합니다.ASF는 전 세계적인 개발자들과 기업들의 참여를 유도하고, 오픈소스 프로젝트의 개발과 유지보수를 위한 인프라 및 지원을 제공합니다. ASF의 목..

What is MLOps?MLOpsMachine Learning Operations의 약어연구소에 머물고 있는 머신러닝 모델들을 실제 비지니스 환경(복잡하고 예측이 어려운 환경)에 운영하기 위한 기술들MLOps의 필요성ML Model을 실제 비지니스 환경으로 적용할 때 문제점Model : 어떤 데이터를 넣으면, 어떤 결과가 나올 것인지를 규정하는 시스템을 의미한다.ML Modeling 과정에서는 아이디어를 검증하기 위해 예측 정확도가 중요하고, 많은 가정하에서 데이터를 학습하게 됨실제 비지니스 환경에서는 굉장히 많은 복잡성과 불확실성이 있음 (서비스 안전성이 중요해짐)특히 자원의 경우 모델이 좋아도 1개의 모델이 초당 고가의 GPU를 사용하게 된다면 서비스 양을 장담할 수 없게 됨사용자의 트렌드에 따라 ..

클러스터클라우드 ?서버?랙 마운트 서버 (Rack Mount)Blade네트워크 1G vs. 10G(한번에 10기가가 지나갈 수 있어...!)CAPEX (Capital)OPEX 서버를 회사 내에 보유하다가, 인터넷이 나옴 !url, DNS 등...이제 서버를 회사 내에 구비하지 않아도 됨데이터센터 (Rack에 서버들이 들어있음. 이걸 서버로 빌려서 쓴다 ~)1.Iaas 데이터센터에 있는 서버를 빌린다.2.PaaS OS 선택, EC2, VM3.Saas 시스템 다 깔아놓고 로그인만 해서 써라.Managed Servies쿠버네티스는 클러스터 (클러스터 안에는 노드가 있다)스케쥴러서비스 (ip table, net fillter => 중간에서 ip 보내주는...)API server(가려져 있다. 볼 수 없음)CNI..

What is Kubernetes?쿠버네티스란 ?Container Orchestration Tool알아서 컨테이너를 관리해주고, 알아서 장애를 막아주고, 알아서 가장 효율적으로 리소스를 관리/실행해주는 컨테이너 관리 툴참고자료https://github.com/kubernetes/kubernetes/blob/master/logo/logo.svghttps://kubernetes.io/docs/home/https://pyrasis.com/jHLsAlwaysUpToDateKuberneteshttps://youtu.be/HNGEo7Kd3_k

What is Container?Container 기술이란VM (Virtual Machine) : 자신의 컴퓨터나 서버에 여러 개의 서버를 생성하고자 할 때, 여러 개의 VM을 띄워야 함.여러 개의 서버를 생성할 경우, 리소스 사용량을 가볍게 만드는 방법을 찾게 됨그 결과 Container Engine들이 등장하게 됨ex) container d, docker, cri-o Container 기술의 특징이동성, 배포 편의성 (개발 및 환경 차이(ex: 버전 차이에 따른 오류)에 따른 변화 대응에 편의)가벼운 가상화 기술 (Guest OS의 부재로 자원의 효율성 증가)장점 : 자원 효율성 증가, OS 기동 시간 감소단점 : Host OS와 다른 Container 생성 불가, 보안 위험성 증가 What is D..

DBDataBase (데이터 저장소)여러 사람이 공유할 목적으로 데이터를 구조화하고 저장하기위해 사용되는 시스템특징트랜잭션 처리를 위해 설계됨데이터베이스가 수행하는 여러개의 작업을 하나로 묶은 실행 단위[DB기초] 트랜잭션이란 무엇인가?주로 특정 애플리케이션의 데이터 저장과 관리에 사용일반적으로 관계형 데이터베이스(RDBMS)를 사용하며, SQL을 사용하여 데이터를 관리하고 검색DBMSDatabase Management System (데이터베이스 관리 시스템)데이터베이스를 관리하고 운영하는 소프트웨어대표적으로 MySQL, 오라클(Oracle), SQL 서버, MariaDB 등이 있음RDBMSRelational DBMS (관계형 데이터베이스)대부분 DBMS가 RDBMS 형태로 사용됨테이블(table)이라는..

HiveQL 주요 내장함수 2. DML (Data Manipulation Language)데이터를 삽입, 조회, 갱신, 삭제하는 작업에 사용됨LOAD (외부 파일 시스템에서 데이터를 로드하여 테이블에 삽입)LOAD DATA INPATH '/path/to/file' INTO TABLE table_name;INSERT (테이블에 데이터를 삽입)

apache hive하둡 환경에서 데이터를 관리하고 쿼리하기 위한 데이터 웨어하우싱 솔루션SQL과 유사한 HiveQL을 사용하여 데이터 처리주로 배치 작업, 대용량 데이터 분석을 위해 사용HiveQL Data Types https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types LanguageManual Types - Apache Hive - Apache Software FoundationHive Data Types Overview This lists all supported data types in Hive. See Type System in the Tutorial for additional information. For data typ..