paint-brush
실제 AI 작업에서 ChatGPT, Qwen 및 DeepSeek 벤치마킹~에 의해@decodebuzzing
490 판독값
490 판독값

실제 AI 작업에서 ChatGPT, Qwen 및 DeepSeek 벤치마킹

~에 의해 HarshVardhan Jain17m2025/02/03
Read on Terminal Reader

너무 오래; 읽다

ChatGPT, Qwen, DeepSeek는 가장 인기 있는 세 가지 AI 모델입니다. 우리는 일련의 핵심 과제를 통해 이 모델들을 시험해 보았습니다. 결과는 어떤 모델이 귀하의 요구 사항(및 예산)에 가장 현명한 선택인지 보여줍니다.
featured image - 실제 AI 작업에서 ChatGPT, Qwen 및 DeepSeek 벤치마킹
HarshVardhan Jain HackerNoon profile picture
0-item
1-item
2-item
3-item

어떤 AI 모델이 코딩 , 역학, 알고리즘 정밀도 면에서 더 우수한 성과를 보일까요 ? 어떤 모델이 실제 세계의 정밀도를 제공할까요?

미국의 부유한 기술 대기업은 한때 AI 시장을 지배했지만 DeepSeek의 출시는 업계에 파장을 일으켜 엄청난 과대광고를 일으켰습니다. 하지만 그게 충분하지 않은 듯, Qwen 2.5가 등장하여 여러 면에서 DeepSeek를 능가했습니다. DeepSeek-R1 및 OpenAI의 O1과 같은 다른 추론 모델과 마찬가지로 Qwen 2.5-Max는 사고 과정을 숨기는 방식으로 작동하여 의사 결정 논리를 추적하기 어렵게 만듭니다.


이 글에서는 ChatGPT, Qwen, DeepSeek를 미적분 문제 풀기 부터 코드 디버깅 까지 다양한 핵심 과제를 통해 시험해 봅니다. 완벽한 AI 코딩 어시스턴트를 찾는 개발자 , 양자 역학을 다루는 연구자 , 비즈니스 전문가 이든, 오늘은 여러분의 필요(및 예산)에 가장 적합한 모델이 무엇인지 알려드리겠습니다.


AI 모델 역량의 비교 분석:-

1. 채팅gpt

OpenAI에서 개발한 ChatGPT는 여전히 AI 분야에서 지배적인 세력으로 남아 있으며, 강력한 GPT-5 아키텍처를 기반으로 구축되고 인간 피드백(RLHF)을 통한 강화 학습을 사용하여 미세 조정되었습니다. 창작 쓰기에서 기술 문서에 이르기까지 다양한 작업에 신뢰할 수 있는 선택으로 콘텐츠 제작자, 교육자 및 스타트업에게 최고의 선택입니다. 그러나 완벽하지는 않습니다. 고급 수학이나 틈새 법률 도메인과 같은 전문 분야에서는 어려움을 겪을 수 있습니다. 게다가 높은 인프라 비용으로 인해 소규모 기업이나 개인 개발자가 쉽게 액세스하기 어렵습니다.


30억 달러 이상의 막대한 투자로 구축된 ChatGPT는 대규모 인프라 모델인 반면, DeepSeek은 불과 560만 달러로 비슷한 성과를 달성했습니다. 전형적인 중국 사례죠.


2. 딥시크

DeepSeek은 갑자기 등장한 AI 경쟁의 다크호스로, 계산적 정밀성과 효율성에 초점을 맞춰 기존 거대 기업에 도전장을 내밀었습니다.

경쟁사와 달리, 과학 및 수학 작업에 맞게 조정되었으며 arXiv 및 Wolfram Alph a와 같은 최고의 데이터 세트에서 학습되어 최적화, 물리 시뮬레이션복잡한 수학 문제 와 같은 분야에서 좋은 성능을 발휘합니다. DeepSeek의 진정한 강점은 얼마나 저렴한가입니다(중국식 농담은 의도하지 않음 😤). ChatGPT 및 Qwen과 같은 모델은 엄청난 리소스가 필요한 반면, Deepseek은 훨씬 적은 비용으로 작업을 수행합니다. 그러니 ChatGPT 구독에 1000달러를 지불할 필요가 없습니다.


DeepSeek의 응답 방식은 약간 로봇처럼 느껴지고, 기술적이지 않은 작업에는 잘 적응하지 못합니다. 수학과 연구와 같은 특정 분야에는 좋지만 캐주얼하거나 창의적인 대화에는 적합하지 않습니다.

3. 웬

Deepseek 이후 또 다른 중국 AI가 나타나서 점령을 시작할 줄 누가 알았겠어요? 중국의 고전적인 움직임 - 무언가를 퍼뜨리고 이번에는 AI입니다 ㅋㅋㅋ

Qwen은 다국어 설정으로 비즈니스 게임을 지배하고 있으며, 특히 중국어와 아랍어로 아시아와 같은 곳에서 두각을 나타냅니다. 법률 및 재무 업무에 적합한 제품이며 DeepSeek R1과 같은 추론 모델이 아니므로 사고 과정을 볼 수 없습니다. 하지만 DeepSeek과 마찬가지로 로봇 같은 느낌이 있어 캐주얼하거나 창의적인 작업에는 재미가 없습니다. 좀 더 유연한 것을 원한다면 Qwen은 최고의 선택이 아닐 수 있습니다.


이를 전문가 팀으로 생각할 수 있습니다. 물리학에 대한 복잡한 질문을 하면 물리학 전문가만 답변하고 나머지 팀은 활동하지 않습니다.


테스트 시간: 3가지 AI를 실제 세계 문제와 비교

공정성을 보장하고 평가를 통해 어려운 수학 문제, 난해한 물리학 문제, 코딩 과제, 까다로운 현실 세계 문제 등 가장 화제가 되는 과제를 던져보겠습니다.

— — — — — — — — — — — —

1. 물리학: 회전하는 공의 문제

시작하기 위해, 다양한 AI 모델이 복잡한 작업을 얼마나 잘 처리하는지 테스트하는 데 인기 있는 벤치마크가 된 고전적인 "상자 안에서 회전하는 공" 문제에 대해 알아보겠습니다.

과제 : 물리 법칙을 따르면서 회전하는 상자 안에서 공이 튀는 것을 시뮬레이션합니다.

공간에서 회전하는 2차원 모양을 상상해 보세요. 내부에서 공은 벽에서 튀어나와 경계 내에 머물며 외부 힘은 없습니다. 언뜻 보기에 간단해 보일 수 있지만 중력, 지속적인 회전, 정확한 충돌 역학을 고려하면 까다로운 시뮬레이션이 됩니다. AI 모델이 얼마나 다르게 처리하는지 놀라실 겁니다.

즉각적인:-

 Write a Python script that simulates a yellow ball bouncing inside a rotating square. The ball should bounce realistically off the square's edges, with the square rotating slowly over time The ball must stay within the square's boundaries as the box rotates. Box Rotation: The box should rotate continuously. Ball Physics: The ball reacts to gravity and bounces off the box's walls. Ball Inside Boundaries: Make sure the ball doesn't escape the box's boundaries, even as the box rotates. Realistic Physics: Include proper collision detection and smooth animation Use Python 3.x with Pygame or any similar library for rendering


결과:


1. ChatGPT의 출력: 빠르지만 결함이 있음

Chatgpt에 대한 기대가 컸습니다. 하지만 결과는? 그저... 실망스러웠다고만 말씀드리겠습니다. DeepSeek이 정확성을 위해 시간을 들인 반면, ChatGPT는 즉시 깔끔한 스크립트를 뱉어냈습니다. 공은 현실적으로 튀지 않았습니다. 대신 상자의 가장자리에서 글리치가 발생했고 , 때로는 모서리에 갇히거나 벽을 통과했습니다. ChatGPT가 깊이보다 속도를 선호하고 작동하는 솔루션을 제공하지만 가장 기본적인 의미에서만 그렇다는 것은 분명합니다.

Chatgpt의 코드:

 import pygame import math # Initialize Pygame pygame.init() # Constants WIDTH, HEIGHT = 600, 600 FPS = 60 GRAVITY = 0.2 BOUNCE_DAMPING = 0.8 ROTATION_SPEED = 0.5 # Degrees per frame BALL_RADIUS = 10 # Colors YELLOW = (255, 255, 0) WHITE = (255, 255, 255) BLACK = (0, 0, 0) # Screen setup screen = pygame.display.set_mode((WIDTH, HEIGHT)) clock = pygame.time.Clock() # Square properties square_center = (WIDTH // 2, HEIGHT // 2) square_size = 300 angle = 0 # Ball properties ball_pos = [WIDTH // 2, HEIGHT // 2 - 50] ball_velocity = [2, 0] # Function to rotate a point around a center def rotate_point(point, center, angle): x, y = point cx, cy = center radians = math.radians(angle) cos_a, sin_a = math.cos(radians), math.sin(radians) new_x = cos_a * (x - cx) - sin_a * (y - cy) + cx new_y = sin_a * (x - cx) + cos_a * (y - cy) + cy return new_x, new_y # Main loop running = True while running: screen.fill(BLACK) for event in pygame.event.get(): if event.type == pygame.QUIT: running = False # Apply gravity ball_velocity[1] += GRAVITY # Move ball ball_pos[0] += ball_velocity[0] ball_pos[1] += ball_velocity[1] # Compute rotated square corners half_size = square_size // 2 square_corners = [ (-half_size, -half_size), (half_size, -half_size), (half_size, half_size), (-half_size, half_size) ] rotated_corners = [rotate_point((square_center[0] + x, square_center[1] + y), square_center, angle) for x, y in square_corners] # Check for collisions for i in range(4): p1, p2 = rotated_corners[i], rotated_corners[(i + 1) % 4] dx, dy = p2[0] - p1[0], p2[1] - p1[1] length = math.hypot(dx, dy) normal = (-dy / length, dx / length) # Perpendicular normal # Distance from ball to edge projection = (ball_pos[0] - p1[0]) * normal[0] + (ball_pos[1] - p1[1]) * normal[1] if projection < BALL_RADIUS: # Ball is colliding with edge # Reflect velocity dot = ball_velocity[0] * normal[0] + ball_velocity[1] * normal[1] ball_velocity[0] -= 2 * dot * normal[0] ball_velocity[1] -= 2 * dot * normal[1] # Apply bounce damping ball_velocity[0] *= BOUNCE_DAMPING ball_velocity[1] *= BOUNCE_DAMPING # Move ball out of collision ball_pos[0] += normal[0] * (BALL_RADIUS - projection) ball_pos[1] += normal[1] * (BALL_RADIUS - projection) # Rotate square angle += ROTATION_SPEED # Draw rotated square pygame.draw.polygon(screen, WHITE, rotated_corners, 2) # Draw ball pygame.draw.circle(screen, YELLOW, (int(ball_pos[0]), int(ball_pos[1])), BALL_RADIUS) # Update display pygame.display.flip() clock.tick(FPS) pygame.quit()


산출:

2. 딥시크

DeepSeek의 출력은 정말 놀랍습니다. ChatGPT가 코드를 생성하는 데 빠른 반면, DeepSeek은 문제에 대해 생각하는 데만 200초가 걸렸습니다. DeepSeek은 그저 기능적 스크립트를 작성한 것이 아니라 모든 에지 케이스를 완벽하게 처리하는 고도로 최적화된 물리적으로 정확한 시뮬레이션을 만들었습니다.


DeepSeek의 코드:

 import pygame import math # Initialize Pygame pygame.init() # Constants WIDTH, HEIGHT = 600, 600 SQUARE_SIZE = 400 SQUARE_HALF = SQUARE_SIZE // 2 BALL_RADIUS = 10 GRAVITY = 0.5 RESTITUTION = 0.8 ANGULAR_VELOCITY = 1 # Degrees per frame # Setup display screen = pygame.display.set_mode((WIDTH, HEIGHT)) pygame.display.set_caption("Bouncing Ball in Rotating Square") clock = pygame.time.Clock() # Initialize variables square_center = (WIDTH//2, HEIGHT//2) angle = 0 ball_pos = [WIDTH//2, HEIGHT//2] ball_vel = [0, 0] def rotate_point(point, center, angle): """Rotate a point around a center by given angle (degrees)""" theta = math.radians(-angle) ox, oy = center px, py = point qx = ox + math.cos(theta) * (px - ox) - math.sin(theta) * (py - oy) qy = oy + math.sin(theta) * (px - ox) + math.cos(theta) * (py - oy) return qx, qy running = True while running: dt = clock.tick(60) / 1000 # Delta time in seconds # Event handling for event in pygame.event.get(): if event.type == pygame.QUIT: running = False # Update square rotation angle = (angle + ANGULAR_VELOCITY) % 360 # Apply physics ball_vel[1] += GRAVITY ball_pos[0] += ball_vel[0] * dt ball_pos[1] += ball_vel[1] * dt # Collision detection and response # Convert ball position to square's local coordinate system translated = (ball_pos[0] - square_center[0], ball_pos[1] - square_center[1]) rotated = rotate_point((translated[0], translated[1]), (0, 0), -angle) collision = False new_local_x, new_local_y = rotated[0], rotated[1] # Check boundaries in local coordinates if rotated[0] < -SQUARE_HALF + BALL_RADIUS: new_local_x = -SQUARE_HALF + BALL_RADIUS collision = True elif rotated[0] > SQUARE_HALF - BALL_RADIUS: new_local_x = SQUARE_HALF - BALL_RADIUS collision = True if rotated[1] < -SQUARE_HALF + BALL_RADIUS: new_local_y = -SQUARE_HALF + BALL_RADIUS collision = True elif rotated[1] > SQUARE_HALF - BALL_RADIUS: new_local_y = SQUARE_HALF - BALL_RADIUS collision = True if collision: # Convert corrected position back to global coordinates corrected = rotate_point((new_local_x, new_local_y), (0, 0), angle) ball_pos[0] = corrected[0] + square_center[0] ball_pos[1] = corrected[1] + square_center[1] # Calculate reflection in local coordinates local_vel = rotate_point(ball_vel, (0, 0), -angle) if new_local_x != rotated[0]: # X-axis collision local_vel = (-local_vel[0] * RESTITUTION, local_vel[1]) if new_local_y != rotated[1]: # Y-axis collision local_vel = (local_vel[0], -local_vel[1] * RESTITUTION) # Convert velocity back to global coordinates global_vel = rotate_point(local_vel, (0, 0), angle) ball_vel[0], ball_vel[1] = global_vel[0], global_vel[1] # Drawing screen.fill((0, 0, 0)) # Draw rotating square square = pygame.Surface((SQUARE_SIZE, SQUARE_SIZE), pygame.SRCALPHA) pygame.draw.rect(square, (255, 0, 0), (0, 0, SQUARE_SIZE, SQUARE_SIZE), 2) rotated_square = pygame.transform.rotate(square, angle) screen.blit(rotated_square, rotated_square.get_rect(center=square_center)) # Draw ball pygame.draw.circle(screen, (255, 255, 0), (int(ball_pos[0]), int(ball_pos[1])), BALL_RADIUS) pygame.display.flip() pygame.quit()

산출:

3. Qwen의 출력: 실망스러운 시도

ChatGPT의 출력이 기대 이하라면 Qwen의 출력은 완전히 실망스러웠습니다 . Qwen이 복잡한 작업을 처리하는 데 있어 강력한 평판을 얻었기 때문에 성능에 대한 기대가 정말 컸습니다. 하지만 회전하는 공 시뮬레이션을 위한 코드를 실행했을 때 결과는 예상과 거리가 멀었 습니다. ChatGPT처럼 Qwen은 거의 즉시 코드를 생성했습니다. 깊이 생각할 필요가 없었습니다.

공은 시뮬레이션의 대부분 동안 상자 밖에 있었으며 물리 법칙을 완전히 무시했습니다. 상자 자체는 프레임 밖에 반쯤 있었기 때문에 캔버스에 일부만 보였습니다.

웬의 코드

 import pygame import math # Initialize Pygame pygame.init() # Screen dimensions WIDTH, HEIGHT = 600, 600 screen = pygame.display.set_mode((WIDTH, HEIGHT)) pygame.display.set_caption("Bouncing Ball in Rotating Square") # Colors YELLOW = (255, 255, 0) WHITE = (255, 255, 255) BLACK = (0, 0, 0) # Clock for controlling frame rate clock = pygame.time.Clock() FPS = 60 # Box properties box_size = 300 box_center = (WIDTH // 2, HEIGHT // 2) angle = 0 # Initial rotation angle rotation_speed = 1 # Degrees per frame # Ball properties ball_radius = 10 ball_pos = [box_center[0], box_center[1] - box_size // 4] # Start near the top center of the box ball_velocity = [4, 0] # Initial velocity (x, y) gravity = 0.2 # Gravity effect # Function to rotate a point around another point def rotate_point(point, angle, origin): ox, oy = origin px, py = point qx = ox + math.cos(math.radians(angle)) * (px - ox) - math.sin(math.radians(angle)) * (py - oy) qy = oy + math.sin(math.radians(angle)) * (px - ox) + math.cos(math.radians(angle)) * (py - oy) return qx, qy # Main game loop running = True while running: screen.fill(BLACK) # Handle events for event in pygame.event.get(): if event.type == pygame.QUIT: running = False # Update ball physics ball_velocity[1] += gravity # Apply gravity ball_pos[0] += ball_velocity[0] ball_pos[1] += ball_velocity[1] # Rotate the box angle += rotation_speed if angle >= 360: angle -= 360 # Define the four corners of the square corners = [ (-box_size / 2, -box_size / 2), (box_size / 2, -box_size / 2), (box_size / 2, box_size / 2), (-box_size / 2, box_size / 2) ] # Rotate the corners around the center rotated_corners = [rotate_point(corner, angle, box_center) for corner in corners] # Check collision with the edges of the box collided = False for i in range(4): p1 = rotated_corners[i] p2 = rotated_corners[(i + 1) % 4] # Line segment between p1 and p2 x1, y1 = p1 x2, y2 = p2 # Closest point on the line to the ball dx = x2 - x1 dy = y2 - y1 t = max(0, min(1, ((ball_pos[0] - x1) * dx + (ball_pos[1] - y1) * dy) / (dx * dx + dy * dy))) closest_x = x1 + t * dx closest_y = y1 + t * dy # Distance between ball and closest point distance_sq = (closest_x - ball_pos[0]) ** 2 + (closest_y - ball_pos[1]) ** 2 if distance_sq <= ball_radius ** 2: # Collision detected collided = True # Normal vector of the edge edge_length = math.hypot(dx, dy) nx = -dy / edge_length ny = dx / edge_length # Reflect the velocity vector dot_product = ball_velocity[0] * nx + ball_velocity[1] * ny ball_velocity[0] -= 2 * dot_product * nx ball_velocity[1] -= 2 * dot_product * ny # Ensure the ball stays inside the box if not collided: # Clamp the ball position within the box ball_pos[0] = max(box_center[0] - box_size / 2 + ball_radius, min(ball_pos[0], box_center[0] + box_size / 2 - ball_radius)) ball_pos[1] = max(box_center[1] - box_size / 2 + ball_radius, min(ball_pos[1], box_center[1] + box_size / 2 - ball_radius)) # Draw the rotating square pygame.draw.polygon(screen, WHITE, rotated_corners, 2) # Draw the ball pygame.draw.circle(screen, YELLOW, (int(ball_pos[0]), int(ball_pos[1])), ball_radius) # Update the display pygame.display.flip() # Cap the frame rate clock.tick(FPS) # Quit Pygame pygame.quit()


2. ChatGPT, Qwen, DeepSeek의 클래식 Pursuit 퍼즐에 대한 응답 비교

실제 문제를 해결하는 데 있어서 모든 AI 모델이 동등하게 만들어진 것은 아닙니다. 그들의 역량을 테스트하기 위해 저는 고전적인 추구 문제를 제시했습니다.


“귀중한 유물이 도난당했습니다. 도둑이 이미 45km를 도망간 후에 주인이 추적을 시작했습니다. 160km를 이동한 후 주인은 도둑이 18km 앞에 남아 있다는 것을 발견했습니다. 도둑을 잡으려면 주인이 몇 킬로미터를 더 이동해야 합니까?”


1. ChatGPT의 응답

ChatGPT는 정답에 도달하기 위해 3번의 시도를 했습니다. 처음에는 문제를 잘못 해석했지만 결국 스스로를 수정하여 첫 번째 시도에서는 효율성이 부족했지만 끈기를 보여주었습니다.


2. DeepSeek의 응답

DeepSeek도 첫 번째 시도 에서 정답을 냈지만 Qwen보다 약간 더 오래 걸렸습니다. 명확한 추론과 함께 세부적이고 단계별 솔루션을 제공하여 심층적 사고 와 정확성에서 강점을 입증했습니다.


2. Qwen의 응답

Qwen은 첫 번째 시도 에서 정답을 맞혔고 DeepSeek보다 더 빨리 답했습니다. 불필요한 단계 없이 간결하고 정확한 솔루션을 제공하여 강력한 문제 해결 속도와 정밀성을 보여주었습니다.


결론

세 AI 모두 결국 정답을 맞혔지만, Qwen은 속도와 효율성으로 두드러졌고, DeepSeek은 체계적인 접근 방식을 보여주었습니다. ChatGPT는 여러 번 시도해야 했습니다.


AI 콘텐츠 인간화: AI의 인간적 측면

AI에서 속도와 효율성이 종종 칭찬받지만, 진짜 게임 체인저는 감정 지능 입니다. 즉, 인간의 감정을 이해하고 해석하고 반응하는 능력입니다. DeepSeek와 같은 AI 모델은 정밀성과 논리에 뛰어나고 ChatGPT는 창의성에 뛰어납니다. 테스트해 보겠습니다.

— — — — — — — —

프롬프트: Write a messy emotional love letter

— — — — — — — —


채팅gpt:


딥시크:

웬:

흥미롭게도, 인간과 같은 독창성을 테스트했을 때, 세 모델(ChatGPT, DeepSeek, Qwen) 모두 AI가 생성한 패턴에서 벗어나기 위해 애썼습니다. 참고: 세 모델 모두 같은 로봇식 대사로 응답을 시작했습니다 . "어디서 시작해야 할지조차 모르겠어요" 어쨌든 저는 Chatgpt에 큰 기대를 걸었지만 Qwen이 이겼습니다!


주요 내용:

DeepSeek *: 연구비판적 사고를 위한 최적의 솔루션으로, 정확도와 심도 면에서 다른 솔루션보다 우수합니다.*

Qwen *: 고전 수수께끼를 첫 번째 시도에서 풀면서 DeepSeek와 맞먹었고 인간화된 콘텐츠 에서 승리하여 강력한 올라운더가 되었습니다.*

ChatGPT *: 수수께끼를 풀기 위해 여러 번 시도했지만 여전히 창의적인 작업인간과 유사한 상호 작용을 위한 최고의 선택입니다.*


최종 판결: 누가 어떤 AI를 사용해야 할까?

  • 연구원 : DeepSeek
  • 엔지니어 : DeepSeek
  • 작성자 : ChatGPT 또는 Qwen
  • 변호사 : Qwen withchatgpt
  • 교육자 : ChatGPT
  • 콘텐츠 제작자 : Deepseek의 Qwen과 deep-thinking

결론:

댓글에서 여러분의 의견을 듣고 싶습니다. 틀렸다면 바로잡아 주세요. 이 글이 도움이 되었다면 박수를 치고, 공유하고, 여러분의 의견을 공유해 주세요. 자유롭게 저를 지원해 주세요 *** 여기 ***또는 UPI: jainhvj@fam


저는 이 광대한 분야를 계속 배우고 탐험하는 데 흥분합니다. 귀하의 피드백에 감사드리며 통찰력 있는 토론을 기대합니다.

감사합니다!