주말 동안 10달러로 50만 개 도메인 검색 엔진을 구축한 개발자
어떤 개발자가 주말 동안 단 10달러를 써서 50만 개의 도메인을 인덱싱하는 검색 엔진을 만들었다고 올려서 해커뉴스에서 화제임. 요즘 AI랑 LLM 쓰면 진짜 별 걸 다 혼자서 뚝딱 만드는구나 싶음.
알고리즘 구조가 대충 이렇다고 함. 사이트 읽어오고, GPU 임대해서 vLLM 돌리고, LLM한테 카테고리랑 태그 이름 알아서 지어내게 한 다음에 1KB짜리 메타데이터로 저장하는 방식. 이걸 보고 반응이 갈리는데, 캡차나 클라우드플레어 같은 방어벽 뚫는 거 다 빼고 해피패스만 탄 거 아니냐는 지적도 나옴.
개발자들이 '주말 동안 만들었다'는 걸 은근한 자랑거리로 쓰는 거 웃프다는 반응도 많음. 어떤 사람은 "이거 그냥 LLM 얼마나 잘 쓰는지 자랑하는 새로운 플렉스 문화 아니냐"고 꼬집기도 하고, 어떤 이는 "대충 만든 티가 나는데 굳이 '주말 동안 만들었다'며 저노력을 셀링 포인트로 삼는 이유를 모르겠다"고 함. 또 다른 쪽에서는 옛날 알타비스타 서버 시절 추억팔이부터 클라우드에서 다시 로컬로 넘어오는 요즘 트렌드 같다는 분석도 나옴.
솔직히 이걸 구글 대용으로 쓰겠냐는 회의적인 시선도 있지만, 10년 전 개발자들 사이에서 '투두 리스트 앱' 만들기가 유행했던 것처럼 자기만의 작은 인터넷 조각을 예쁘게 인덱싱하는 용도로는 꽤 낭만 있고 쓸 만하다는 평임.[1]
출처
수정
ddre******ver
내 최신 프로젝트를 확인해 보세요! 포크해서 정책을 수동으로 혹은 AI로 조정하고, 시스템을 돌려 데이터가 들어오는 걸 볼 수 있습니다!
ii**re
내 알고리즘에 대한 소감: 1. 각 사이트를 읽는다. 2. vast.ai에서 4090을 대여해 vLLM을 돌린다. 3. LLM 모델이 자신만의 카테고리와 태그 이름을 자유롭게 발명하게 한다. 4. 각각 1KB의 메타데이터를 저장한다. 5. 코드가 곧 오픈소스로 올라올 예정
dd**ey
카기(Kagi) 스몰웹 필터 쓰면 거의 비슷한 결과가 나올 것 같음