지금까지 S/W 개발하면서 경험했던 캐시(Cache)들 소개

이미지
안녕하세요, 하마연구소입니다. 컴퓨팅에서 캐시(Cache)는 데이터에 빠르게 접근하기 위한 레이어로 데이터 로딩이 지연되거나 병목이 예상되는 앞단에 위치합니다. CPU와 메모리 사이에 있는 L1, L2, L3 캐시나 빠른 I/O 처리를 위하여 스토리지(HDD, SSD 등)에도 사용됩니다. H/W뿐만 아니라 S/W에서도 자주 사용되며 적절한 캐시 설계에 따라 성능을 극대화할 수 있습니다. 보통 어플리케이션과 영구저장소 또는 다른 어플리케이션 사이에 위치합니다. 요즘은 분산 클러스터링 환경에서 편리성과 훌륭한 속도를 내는 Memcached나 Redis를 많이 사용하며, 언젠가부터는 Memcached도 캐시 설계할 때 도입 대상에서 제외되는 추세로 보입니다. 왠만하면 Redis 사용합니다. 제가 지금까지 경험했던 캐시 솔루션을 정리해 보려고 합니다. 보통 Java 기반으로 어플리케이션을 작성하였기에 그에 맞는 캐시를 많이 경험한 점 참고하시기 바랍니다. 1. 로컬캐시 Ehcache Java 기반 어플리케이션 개발하면 가장 쉽게 접하는 캐시입니다. 어렵지 않은 설정으로 다양한 캐시 기능을 사용할 수 있으며, 역사도 꽤 길기에 믿고 사용하면 됩니다. 다양한 기능으로는 영속성을 보장하기 위한다면 캐시 데이터 디스크 저장할 수 있으며, 어플리케이션의 여러 프로세스들 간에 공유하여 분산 캐시를 구성할 수도 있습니다. 단, 캐시 기능에 더이상 새로운 기능을 넣을께 없어서 그런지 라이브러리 업데이트가 활발하지는 않습니다. https://www.ehcache.org/ Caffeine 2010년대 중후반 부터 Spring Boot에서는 기본 캐시 라이브러리를 Ehcache에서 Caffeine으로 변경하였습니다. 아마 Spring Boot 버전 2부터였던 것으로 기억합니다. Ehcache가 제공하는 기능이 많아지고 그만큼 무거워졌기 때문에 로컬 캐시라는 본연 기능에 충실하고자 심플한 카페인 캐시 라이브러리가 각광 받았습니다. 또한 스프링에서 아주아주 간단한 설정만으로 쉽게 캐...

AI 시대, SEO가 아닌 GEO에 포커싱해야 하는 이유

이미지
안녕하세요, 하마연구소입니다. 정보를 제공하고 수익을 내야하는 기업 웹페이지가 AI 시대를 준비하며 GEO(Generative Engine Optimization) 를 신경써야 한다고 합니다. GEO는 또 뭐야? 최적의 검색엔진 대응을 위하여 과거와 현재 웹페이지는 SEO(Search Engine Optimization) 에 관심을 두고 있습니다. 최적화된 SEO를 제공하면 검색엔진 노출에 많은 도움이 되며, 이것은 트래픽 유입을 증가시키고 그만큼 수익을 늘릴 수 있습니다. 따라서 SEO는 검색엔진에 정보를 효과적으로 제공하는 구조로 되어 있으며, 웹페이지는 사람눈에 맞춰 메뉴, 목차, 본문구조 등을 구성해야 합니다. 하지만 AI 시대에서는 조금 다릅니다. 사용자가 웹페이지에 들어가서 원하는 정보를 얻으며 구매를 하고 또는 광고를 클릭하는 흐름이 아니라, AI와 대화하면서 정보를 얻고 구매도 AI에게 시킵니다. 즉, 사용자는 더이상 웹페이지에 직접 방문하지 않습니다. 따라서 웹페이지에 노출되는 구조가 사람의 눈이 아닌 AI 엔진(에이전트)에 포커싱 되어야 합니다. AI가 활발해지는 앞으로는 기업 웹페이지 입장에서 사용자의 질문으로부터 AI 엔진이 유입되기 때문에 그에 맞춰 Q&A 형태의 정보, 표나 리스트로 명확하게 정리된 정보, 무엇보다 입력된 질의 상황에 맞춰 동적으로 정보를 제공하는 웹페이지가 되어야 합니다. 아직 감이 오지 않습니다. 하지만 분명한 것은 더이상 사람이 직접 웹페이지에 방문하는 빈도수는 줄어들 것입니다. 따라서 미래 웹페이지 기획과 개발은 검색엔진과 사람이 보기 좋은 구성이 아니라, AI를 위한 맞춤 제공할 수 있는 구성이 되어야 합니다. 그리고 트래픽 유입에 따른 디스플레이 광고 수익이 아닌, AI가 상품을 직접 구매 하기 때문에 이 구매율을 높이기 위한 알맞은 정보를 제공하는 서비스에 신경써야할 것입니다. 예상했지만 AI가 많은 것을 바꾸고 새로운 표준을 잡아가...

AI 메모리 HBM 외에 HBF도 주목

이미지
안녕하세요, 하마연구소 입니다. AI 관련 하드웨어 중에 GPU가 가장 중요하지만 연산을 위하여 빠른 메모리도 매우 중요합니다. AI 확산으로 고대역폭메모리(HBM, High Bandwidth Memory) 시장이 유래없는 호황을 맞이하고 있습니다. HBM은 휘발성 메모리이기 때문에 GPU가 처리할 데이터를 유지하려면 지속적인 전력이 필요하며, 그에따라 전력량과 발열이 증가하게 됩니다. 따라서 이러한 한계 때문에 더 빠르게 처리해야할 GPU 연산 환경에 한계가 있다는 평가가 나오고 있습니다. 물론 HBM3, HBM3E에 이어 HBM4까지 개발되며 발전하고 있지만, 더 높은 고층으로 쌓기에는 한계가 있기에 더 큰 용량을 확보하지 못하고 있습니다. 이에 고대역폭낸드플래시메모리(HBF, High Bandwidth Flash Memory) 가 주목받고 있습니다. 낸드플래시는 최대 321층 쌓은 제품이 사용화 되어 용량 확대에 유리하고, 무엇보다 데이터 유지를 위하여 지속적인 전력 공급이 없어도 되며 발열량과 전력소모는 HBM 대비하여 낮습니다. 이는 마치 일반 컴퓨터에서 RAM과 SSD의 차이점과 유사합니다. CPU 연산에 필요한 데이터를 빠르게 접근하기 위하여 RAM을 이용하고 대량의 데이터를 임시 또는 영구 저장하기 위하여 SSD를 이용한 것과 비슷하게, GPU의 고속연산에 필요한 데이터를 HBM과 HBF를 혼합해서 사용하는 것입니다. HBM과 HBF 비교 HBF를 표준화하기 위하여 해결해야할 과제가 있습니다. 바로 낸드플래시의 10만번 쓰기 수명을 극복해야 합니다. 매우 빠르게 처리되는 AI 연산에서 하드웨어의 수명을 늘리는 것은 비용문제를 해결할 수 있는 핵심 과제입니다. 이에 SK하이닉스는 전통적인 낸드플래시 메모리 강자인 샌디스크와 양해각서(MOU)를 체결하여 전략적인 행보를 취하고 있습니다. SSD가 RAM을 대신하지 못하는 것처럼, HBF가 HBM을 대체하지는 않을 것입니다. 어쩌면 HBM의 성능이 더 좋아지고 단점이 줄어든다면 지금처럼 HBM만 사용...

네이버 쇼핑 잘 나가네요, 구팡이 절대 강자인줄~

이미지
안녕하세요, 하마연구소 입니다. 예전에는 쇼핑하려면 다나와 가서 가격비교하여 11번가, 옥션, G마켓 등 가장 저렴한 쇼핑몰에서 구매하였는데, 요즘은 습관처럼 쿠팡 에서 검색하여 바로 구매합니다. 가장 큰 이유는 빠른 배송이죠. 오후 늦게 내지 밤에 주문해도 다음날 새벽에 도착한 택배! 이 맛을 끊을 수 없습니다. 또한 네이버 쇼핑 도 종종 이용합니다. 쿠팡만큼 빠른 배송은 아니지만 꽤 많은 물건이 등록되어 있는 스마트스토어, 무엇보다 꽤 많이 쌓이는 포인트가 장점이죠. 이는 필자뿐만 아니라 대한민국 국민 대부분에 해당할 것으로 예상됩니다. 2026년 3분기 네이버 쇼핑 순이익이 7347억 원이라고 합니다. 이는 쿠팡이 포함된 7대 유통사보다 11.5% 높은 순이익입니다. 쿠팡이 매출 12조 8455억 원에 영업이익 2245억 원 정도인데, 네이버 쇼핑은 매출 9855억 원에 영업이익은 5706억 원이고 순익익이 7347억 원입니다. 매출은 쿠팡이 훨씬 많은데, 남는 돈은 네이버 쇼핑이 훨씬 잘 버네~~~ 아마도 쿠팡은 물류, 배송까지 직접 챙기다 보니 아직 물리적인 인프라 비용에 많은 비용이 필요한 가봅니다. 반면에 네이버 쇼핑은 CJ대한통운 및 마켓컬리 등과 손잡아 물류센터를 직접 관리하지 않습니다. 네이버는 태생이 검색회사인데, 이러다 쇼핑 회사 되겠네~~~ 참고 https://v.daum.net/v/20251114160305059 "네이버 쇼핑이 이 정도야?”…‘한국 7대 유통사’ 다 합쳐도 네이버 못 넘어

구글 지도 반출 심사 유보, 관세 협상 마무리 되어야 하나?

이미지
안녕하세요, 하마연구소 입니다. 구글은 끊임없이 대한민국의 정밀지도 데이터를 달라고 요구하고 있습니다. 이에 정부는 계속하여 거부하고 있고요. 지난 2025년 2월에 구글은 또다시 허가 신청서를 제출했습니다. 이후 정부는 서류를 보완하라는 이유로 3차례 결정을 유보하고 있습니다. 그냥 딱잘라 거절하면 안되나??? 왜 불허가를 못하는 것일까??? 아니면 쿨하게 허용하던가~~~ 정부는 데이터 반출을 원하지 않을 것으로 보입니다. 가능했다면 한-미 관세협상에 작은 카드로 사용하지 않았을까요? 다르게 이야기하면 불허가 결정을 못내리는 이유는 관세협상에 악영향을 끼칠수도 있기 때문에 그러지 않았을까요? 관세협상이 마무리되면 이번 정밀지도 데이터 국외반출 건도 마무리될 것으로 예상해 봅니다. 지금까지 구글 지도 반출 심사가 왜 자꾸 지연되는지 생각해 보았습니다. 감사합니다. 참고 https://v.daum.net/v/20251111171941446 구글 지도 반출 심사 또 유보…"신청서에 이행 조건 추가해야"

IT회사는 기술중심 회사? 사업중심 회사?

이미지
안녕하세요, 하마연구소 입니다. 무역상사, 중개업, 물류, 유통 등과 같이 자신이 보유한 직접적인 기술이 아닌 것으로 이익을 내는 회사가 있으며, IT 기업과 같이 기술을 연구하고 개발하여 수익을 내는 회사가 있습니다. 각 회사의 상황과 전략에 따라 기술에 중점을 둘 것인지, 사업을 위한 기획에 중요도를 둘 것인지 선택하게 됩니다. 이러한 전략은 고정적이지 않고 시장 상황과 리더에 따라 변할 수 있습니다. 이 변화를 확인할 수 있는 것은 조직도라고 생각합니다.  이번 글에서는 IT 중심 회사에 대해 이야기하려고 합니다. 일반적으로 목적조직이라면 사업과 서비스에 포커싱하여 기획자와 개발자가 심지어 디자이너, 마케터, 데이터분석가 등이 한 조직으로 묶어둡니다. 이때 조직을 관리하는 리더의 능력에 따라 개발자가 리더가 되기도 하고, 기획자가 리더가 될 수 있습니다. 하지만 사업에 더 초점을 둔다면 보통 기획자가 리더가 되어 이끌어 갑니다. 반면 기술중심에 중요도를 더 둔다면 기능조직으로 개발자와 기획자가 구성된 조직인 분리되어 있습니다. 조직은 서로 카운터파트너로 함께 하나의 목적을 두고 일하긴 하지만, 물리적으로 조직이 분리되어 있습니다. 기능조직 vs 목적조직, 기술중심 vs 사업중심 어떠한 것이 좋고 나쁨은 없습니다. 영리회사는 이익을 내는 것이 가장 중요하며, 수익을 내기 위하여 전략과 목표를 세우고 그에따라 조직구성이 변할 뿐입니다. 다만 리더의 포지션과 마인드에 따라 그 구성원인 기획자와 개발자를 바라보는 시선이 달라질 것입니다. 즉, 상위 리더가 누구냐에 따라 달라질 것입니다. 개발자를 쪼아서 어떻게든 일정을 맞출 것이냐? 기반 기술을 차곡차곡 쌓을 수 있도록 기다려 줄 것이냐?

이제 티 나는 일을 해 보자

이미지
안녕하세요, 하마연구소입니다. 그동안 하고 싶은 일, 할 수 있는 일, 해야만 하는 일 위주로 했습니다. 묵묵히 뒤에서 최선을 다했습니다. 혼자 생각해서 결정하는 일을 많이 했습니다. 재밌었습니다. 후회는 없습니다. 많은 경험을 했으며, 그만큼 실력도 늘었다고 생각합니다. 앞으로는 좀 더 보이는 일을 해야겠습니다. 남들이 인지할 수 있는 일을 해야겠습니다. 인정을 받을 수 있는 일을 해야겠습니다. 커뮤니케이션이 빈번한 일을 해야겠습니다. 나의 실력을 제대로 보여주자!!! 나름 나는 이곳저곳에서 1등이었다. 그러나 너무 나대지는 말자!!!

AI 시대, SSD 말고 HDD 주세요~

이미지
안녕하세요, 하마연구소 입니다. HDD를 대체하여 앞으로는 SSD(Solid State Drive)만 사용할 것 같았는데요, AI 시대를 준비하는, 아니 이미 살고 있는 현재의 H/W 시장에서 스토리지 중 HDD(Hard Disk Drive)가 다시 각광을 받고 있습니다.   스토리지 중요성 AI 관련 연산을 위해서 대용량 데이터와 매우 빠른 처리를 위하여 GPU, HBM(High Bankwidth Memory, 고 대역폭 메모리)이 필수이고 중요하지만, 이와 함께 학습 데이터를 저장할 스토리지 역할도 매우 중요합니다. AI에 필요한 학습 데이터를 비롯한 다양한 입력 값은 영구저장소에 위치해야하며, 보통 빠른 입출력을 위하여 SSD를 사용합니다. 그러나 이 데이터의 양은 꽤 클 것이며, AI 서비스가 개인화를 지원한다면 그 용량은 기하급수적으로 늘어날 것입니다. 따라서 이 데이터를 얼마나 효율적으로 처리하고 운영하는 것도 AI 인프라에 중요한 한 꼭지가 되었습니다. 왜 HDD가 화두인가? AI에 필요한 큰 데이터 용량을 SSD로만 저장한다면 운영비용 또한 그만큼 늘어날 것입니다. 안그래도 값 비싼 GPU를 확보하는 비용과, 그 GPU를 운영하기 위한 IDC 유지비용도 만만치 않은데, SSD 비용까지 신경써야하니, AI를 서비스하기 위하여 고려해야할 사항이 너무 많습니다. 따라서 조금이라도 총소유비용(TCO)을 낮추기 위하여 감수해야할 대상으로 스토리지를 선택한 것이 아닌가 싶습니다. GPU는 중요하니... SSD를 대체할 H/W는 HDD 입니다. SSD보다 입출력은 느리지만 대용량 데이터를 보관할 수 있으며, 또한 SSD보다 매우 저렴한 비용으로 구입할 수 있습니다. HDD 시장, 고용량 제품 출시 예상 지난 수 십년간 군림해오던 HDD 시장은 새로운 시장이 아닙니다. SSD가 주 스토리지로 사용하는 최근에도 백업 스토리지를 위하여 계속 제품이 출시되는 시장이었습니다. 비록 예전에 비해 사람들은 HDD를 덜 찾는다고 해도, AI 인프라 구축하는 시장에서...

AI소비지수? AI 더 이상 공짜는 없어요.

이미지
안녕하세요, 하마연구소입니다. AI 시대 현재 많은 분야에 AI 기술이 접목되는 시대입니다. 가히 산업혁명 이후, 인터넷 www 이어, AI 시대라고 해도 과언이 아닙니다. 그만큼 많은 사람들이 AI 기술을 접하고 있으며, 당장은 아니겠지만 점점 AI가 없다면 세상이 돌아가는게 삐걱거릴 수도 있습니다. 아직 AI가 어느 방향으로 나아가고 있는지 명확하지는 않지만, AI가 필수인 세상이 올 것임은 틀림없습니다. 가계통신비지수 가정에서 얼마만큼의 통신비를 지불하는지 그 지수를 나타내는 대표적인 용어인 가계통신비지수가 있습니다. 가정에서도 개인별로 스마트폰을 보유하고 있으며, 그 스마트폰을 활용하기 위하여 통신비용을 지불하는 것은 당연하다고 인식하고 있습니다. 이 통신비용은 필수가 되어 버린 것이죠. AI소비지수? 그렇다면 AI를 이용하는 비용은 어떨까요? 최근 출시되는 AI 서비스가 무료로 제공되는 것은 찾기 어렵습니다. 당장은 무료더라도 기능제한과 사용성에 불편함을 사용자가 느끼게하여 유료로 이용하도록 이끌고 있습니다. ChatGPT, Gemini 같은 LLM을 무료로 사용해본 분은 아실겁니다. AI와 대화를 신나게 나누다보면 갑자기 잠시 후에 이용하라거나, 결제하라는 메시지를 받으셨을 겁니다. 저도 현재 ChatGPT, OpenAI API 비용에 더불어 Gaze.ai, Vue 등 콘텐츠 생성 AI, 그리고 make.com과 같은 자동화 도구 등에 비용을 지불하고 있습니다. 만만치 않은 금액이죠. 그러나 이 비용을 지불해야만 제가 원하는 무엇인가를 얻을 수 있습니다. 그래서 비용을 지불하고 있습니다. 이런 지속적인 비용이 가계 소비 중 얼마만큼되는지 나타내는 것을 AI소비지수라고 해야할까요? 아직 명확한 용어가 성립되지 않았지만, 아마 조만간 이러한 비용을 의미하는 경제적인 용어가 내보일 것입니다. 더 이상 공짜는 없다. AI 이용, 더 이상 무료가 아닐 것입니다. 1990년대 인터넷 시장이 커지면서 세상에 출시된 서비스들은 대부분 무료였습니다. 이메일, 커뮤니...

SSL 인증서가 47일로 단축? 이곳에 돈이 투입되겠군요.

이미지
안녕하세요, 하마연구소 입니다. SSL 인증서의 수명이 47일로 줄어든다고 합니다. 도데체 기존에는 몇 일이었길래 47일로 줄어든다고 이슈가 되는 것이고, 또한 이 기간이 줄어듬으로인하여 무엇이 바뀌고 어떤 새로운 경제적인 변화가 있을지 생각해보겠습니다. SSL 인증서? 요즘 웹사이트를 방문하면 브라우저 주소창 안 왼쪽에 자물쇠 아이콘이 보일겁니다. 이건 해당 웹사이트가 SSL 인증서를 사용 중이라는 표시입니다. 특히 개인정보나 결제정보를 다루는 사이트에서는 필수이며, 대략 2018년도부터는 SSL이 적용되지 않은 사이트에 접근하면 보안관련 경고 메시지가 표시되기 시작했습니다. 최근에는 SSL이 적용안된 웹페이지는 접근할 수 없게 브라우저가 1차적으로 막아줍니다. 왜 47일로 줄이는가? 최근 CA/브라우저 포럼(CA/B 포럼)에서 현재 398일인 TLS/SSL 인증서 유효기간을 점차 줄여 2029년에는 47일로 줄인다고 합니다. 대략 1년에서 1개월로 줄어드는 것이죠. 그럼 왜 이렇게까지 줄이는 것일까요? 여러 이유가 있겠지만 대표직으로 인증서의 위조나 오용 위험을 최소화하려는 것입니다. 요즘은 SSL 인증서가 필수이기에 전세계 활성화된 대부분 홈페이지에 적용되었다고 볼 수 있습니다. 이 인증서 비용도 만만치 않기에 Let's Encrypt는 무료 인증서를 제공해주며, 수 많은 웹호스팅 업체는 이를 서비스화하여 고객은 쉽게 SSL을 사용할 수 있습니다. 이와 같이 누구나 쉽게 SSL 인증서를 만들고 사용할 수 있다보니, 이 과정에서 보안에 취약한 점이 예상되고 있습니다. 예를들어 인증서 발급 당시에는 유효했지만, 이후 도메인 소유자가 바뀌거나 해킹 등으로 인하여 악용될 가능성이 증가했습니다. 따라서 인증서 유효기간을 짧게하여 이러한 위험을 줄어고자하는 것입니다. 도난된 인증서도 47일 이후에는 무효화되니깐요. 무엇이 바뀌는가? 무료 SSL 인증서가 있기하지만, 대부분 기업이나 관공서는 비용을 지불하고 인증서를 발급받습니다. 인증서는 유효기간이 있기때문에...