목록데이터 엔지니어 (2)
바쁜 직장인의 일기장
최근, IT에 관련된 기업들 중에서 AI를 하지 않은 기업들은 눈을 씻고 찾아봐도 찾기 어려운 시대가 왔다. 나 역시도 회사가 제조업이 주업인 회사이지만, 여기서도 AI를 이용해서 업무 효율화 및 콘텐츠를 발굴해 내려고 열을 올리고 있다. 그에 따라서 어떤 데이터를 수집하고, 어떻게 분석해야 할지, 또 어떤 식으로 이용해야 할지 등 여러 가지 의사결정을 하며 데이터 관련 업무를 진행하고 있다. 이러한 데이터 관련 업무를 하다보니, 이 분야가 앞으로도 굉장히 유망할 것이라는 생각이 든다. 결국 AI라는 것도 양질의 데이터를 많이 학습한 모델들이 더욱 성능이 좋아지니 말이다. 그래서 오늘은 AI와 빅데이터의 관계를 간단하게 알아보고 데이터 관련 유망한 직종을 공유해보고자 한다. 먼저 빅데이터에 대해서 간단..
요즘 엔비디아 주가가 하늘을 찌르고 있다. 왜 그럴까 생각해 보면 여러 기업들이 AI를 도입하면서 고성능의 GPU가 필요해졌고, 엔비디아를 대체한 만한 기업이 없기 때문이라고 생각된다. 그렇다면 기업들은 어떤 AI을 도입하려고 이렇게 많은 고성능의 GPU가 필요한 것일까 하면, 가장 유명한 LLM 모델인 Chat GPT처럼 대화형 모델을 적용하려고 할 수도 있고, 머신러닝을 통해 운영하는 서비스의 장애 포인트를 찾아낼 수 있고, 혹은 자율주행 모델을 개발하는 데 쓸 수 도 있을 것이다. 이유가 어찌됐든 현재에는 AI가 없으면 안 되는 시대가 되고 있는 것 같다. 그래서 오늘은 이렇게 기업에서 개발한 AI 모델들이 어떻게 관리되고 있는지에 대해 알아보려고 한다. 우리는 이것을 MLOps라 부른다.MLOps..