딥시크가 오픈웨이트 모델 1위라는데 벤치마크부터 의심받음

나도 동의함. 창작 글쓰기만 빼면 GLM 5.3 Flash가 Qwen 3.8 Flash Next보다 훨씬 앞서 있음.

이건 Artificial Analysis의 에이전틱 코딩 지표가 아님. 공식 AA 벤치마크처럼 보이게 일부러 만든 어설픈 유사 사이트임. 일부러 그렇게 하는 거니까 믿을 수 없음. 공식 AA 벤치마크를 기다려라.

AA도 그렇게 믿을 만한 건 아닌데.

흥미롭네. 난 정반대 경험임. 코딩 작업에서 GLM 5.3 Flash와 Qwen 3.8 Flash를 비교 중인데 각자 장단점이 있음. 창작 글쓰기만큼은 GLM이 Qwen보다 훨씬 낫다는 데 동의하기 어려움.

내 기준은 과학 개념을 초등학생도 알게 설명하는 것임. 여기선 Qwen이 GLM보다 훨씬 잘함.

Artificial Analysis도 어느 날 갑자기 나타나서 자기들이 모델 품질의 최종 심판인 것처럼 굴기 시작했음. 여기도 결국 ‘내 말 믿어’ 수준임.

적어도 실제로 벤치마크를 돌리긴 한다고 믿음. 하루 만에 에이전틱 결과를 올린 정체 모를 사이트는 그렇게 말하기 어렵고.

믿을 만함. 다만 종합 점수만 보지 말고 개별 벤치마크 점수를 확인해야 전체 그림이 보임. 모델 비교 도구도 꽤 쓸 만함.

Artificial Analysis는 등록된 회사라 책임을 물을 수 있음. Vibebench 69.420은 아니고.

Qwen 3.8 Max가 몇 시간 동안 종합 점수 1위에 있다가, 우연히도 집계 방식을 전면 개편한 일처럼 좀 수상한 행동을 한 적이 있음.

벤치마크는 실제 내 사용 사례에 대입하면 대체로 쓸모가 없음.

벤치마크에 MiMo 2.6 Flash는 있는데 2.6 Pro는 없고, Kimi K3도 없음. 흥미롭네. (비꼼)

책임을 물을 수 있다고? 일부러든 실수든 그래프를 오해하게 만들거나 같은 설정으로 시험하지 않아도 감옥에 갈 일은 없음. 평판으로 책임을 묻는다고 해도 사람들은 회사마다 과거 행적을 잘 모름. 업계 최전선이라 좋은 점도 나쁜 점도 있음.

메타 벤치마크 중에선 AA가 그나마 가장 믿을 만함.

“등록된 회사라고? 그럼 모든 게 달라지겠네!”라는 비꼼. 예전에 윈도우 3.1의 보안 문제를 얘기했더니 상사가 “마이크로소프트는 큰 회사인데 그런 결함을 넣을 리 없다”고 했던 기억이 남. 회사 규모가 크다는 이유만으로 소프트웨어가 더 믿을 만하다고 여기는 건, 근거 없는 장점을 덧씌우는 후광 효과임. 사람은 이성적인 동물이라기보다 자기 생각을 합리화하는 동물이라는 농담이 딱 들어맞음.

내일 뉴스: 앤스로픽, 오픈소스 AI가 토스터까지 침투하고 있다고 경고!

AA보다 더 믿을 만한 곳이 어디라고 봄? 완벽한 사이트는 없지만, 최대한 정확해지려고 노력하는 곳은 AA가 가장 나아 보임. 피드백도 빨리 반영하는 편임.

사이트나 사람이 실수했을 때 인정하고 고치는 걸 왜 부정적으로 봄? 가진 정보로 일단 최선을 다하고, 새 증거가 나오면 고치는 게 학문에서 말하는 과학적 방법임.

무슨 편견으로 그러는지 모르겠지만, 사이트 만든 사람이 레딧에서 더 공정한 다른 통계 사이트를 만들고 싶다고 공개적으로 말하고 있음. AA를 베끼거나 조작된 지표로 이득을 보려는 건 아님. 그냥 다른 벤치마크 사이트고, 구조가 다를 수도 있음. 나는 오히려 AA 지표와 다른 그림을 보여줘서 좋고, llm-stats도 괜찮다고 봄.

내 경험에선 말이 너무 많고 같은 곳에서 맴돎. 그래서 다시 GLM 5.3 Flash로 돌아갔음.

“책임을 물을 수 있다”니, 구체적으로 어떻게?

여러 번 실수한 다음 결과가 늘 앤스로픽이 1위가 되도록 조정되는 걸 보면 그렇게 말할 수도 있지. 개인적으로 일부러 속이려는 것 같진 않지만, 수상하게 보일 수는 있다고 생각함.

아, 맥락을 못 알아들었네. (이미 이긴 논쟁에 굳이 더 말할 필요가 없다는 뜻)

새 모델이 나오면 가중치나 벤치마크의 문제점이 드러나기도 함. 점수는 높은데 실제 사용에선 그만큼 못한다면 점수 체계를 조정하는 게 맞고, 그게 벤치마크가 개선되는 과정임. 모델 출시 뒤에도 계속 조정해야 함.

이미지 표기가 틀렸음. 89.9가 98.9로 적혀 있네. 이건 좀.

이런 비교표에서 GLM 5.3 Flash 점수가 낮은 게 늘 의아함. 내 경험에선 2대의 Spark로 돌릴 때 양자화 때문일 수도 있지만 다른 모델보다 지능이 확실히 높았음. 딥시크나 Qwen은 어느 정도 손을 봐줘야 하는데, GLM은 대체로 알아서 일을 해냄. 시간이 걸리고 빙빙 돌아도 결국 끝내는 편임. 작은 단서만 줘도 의도를 파악하는 게 인상적이었음.

AI는 좋아하지만 양산형 결과물은 싫음. 이런 사이트는 누구나 금방 만들어서, 유명하고 ‘신뢰받는’ AA보다 먼저 점수를 내세우며 레딧에 홍보할 수 있음. 다 정당한 건 아니고 다 같은 수준도 아님. 이 주제는 지금 관심이 큰 만큼 제대로 된 기준이 필요함. 이 사이트는 그 수준이 아님.

연구소들이 모델을 일찍 제공하니 출시 직후에도 벤치마크가 빠르게 나옴. 그쪽도 AA를 믿으니까 가능한 거고 방법론도 공개함. 물론 결함은 있고 완벽한 벤치마크는 없음. 지금으로선 가장 나은 종합 사이트라고 봄. 나도 AA를 완전히 믿지는 않으며 실제 사용은 점수보다 복잡함. 더 나은 경쟁자가 나오길 바라지만, 원글의 사이트가 그 대안은 아님.

아직도 쓸 만한 속도로는 못 돌리겠네 ㅋㅋ

순위가 엉성하면 사람들은 그 지표를 참고하지 않게 됨. 예전에도 높은 점수를 받은 모델이 실제로 써보면 낮은 모델보다 못하다는 의견이 많아 집계 방식을 손봤음. 완벽하진 않지만 대체로 다른 대안보다 낫고, 딥시크 플래시도 점수보다 잘한다고 생각함. 모델 제공처를 비교하는 데도 도움 됨.

딥시크 모델의 시점별 개선 주장은 늘 조금 의심스러웠음. 예전 버전도 벤치마크는 좋아졌다고 했지만, 내 문서 처리 작업에선 오히려 퇴보한 느낌이 있었음. 양자화 수준이나 장비 차이일 수도 있지만, 점수만큼 지능이 공짜로 늘어날 순 없다고 생각함. 물론 내 경험이 전부일 리는 없고, GLM이 내게 더 잘 맞는 걸 수도 있음.

딥시크는 환각을 일으키는 경우가 많은 편이라 장기 추론에선 치명적일 수 있음. GLM 5.3 Flash는 환각 벤치마크에서 오래된 미니맥스와 제미나이를 빼면 가장 적은 편이라고 봄.

벤치마크가 얼마나 믿을 만한지 모르겠지만 AA만 있는 건 아쉬움. 대안 사이트를 찾고 있는데 아직 못 찾았고, AA도 가끔 의문스러움. 더 나은 곳이 있었으면 좋겠음. AA 지표는 최첨단 모델에 치우쳐 있고, 대중 여론을 움직이는 도구처럼 쓰이기도 함. 로컬 모델이나 실제 사용 환경에서 중요한 토큰 한도와 처리 시간도 점수에 반영해야 함. 점수를 조금 더 받으려고 지나치게 긴 계산을 하는 게 꼭 실용적인 건 아니고, 속도와 현실적 실행 가능성도 중요함.

이건 이미 공개된 개별 벤치마크를 합친 지표임. 벤치마크 목록과 가중치에 동의한다면 점수를 직접 계산할 수 있고, 출처별 점수도 내보낸 데이터에서 확인 가능함. 내가 만든 이유는 AA의 지능 지표가 에이전틱 코딩 역량을 잘 보여주지 못하기 때문임. 여러 출처의 점수를 한데 모은 것일 뿐 AA와 경쟁하려는 건 아님. 투명하게 공개했으니 믿을지 말지는 각자 판단하면 됨.

전혀 아님. 바꾼 내용을 설명하는 변경 기록도 투명하게 공개하고, 사용자 체감과 순위가 어긋나는지 계속 살펴봄. 제대로 평가하는 사람이라면 일반 여론보다 전문가 의견에 더 비중을 두기도 함.