paint-brush
Benchmarking von ChatGPT, Qwen und DeepSeek bei realen KI-Aufgabenvon@decodebuzzing
490 Lesungen
490 Lesungen

Benchmarking von ChatGPT, Qwen und DeepSeek bei realen KI-Aufgaben

von HarshVardhan Jain17m2025/02/03
Read on Terminal Reader

Zu lang; Lesen

ChatGPT, Qwen und DeepSeek sind die drei beliebtesten KI-Modelle. Wir haben sie mit einer Reihe von wichtigen Herausforderungen auf Herz und Nieren geprüft. Die Ergebnisse zeigen, welches Modell für Ihre Anforderungen (und Ihr Budget) die beste Wahl ist.
featured image - Benchmarking von ChatGPT, Qwen und DeepSeek bei realen KI-Aufgaben
HarshVardhan Jain HackerNoon profile picture
0-item
1-item
2-item
3-item

Welches KI-Modell übertrifft die Anforderungen bei Codierung , Mechanik und algorithmischer Präzision – welches Modell bietet Präzision in der realen Welt?

Die reichen Tech-Giganten in den USA dominierten einst den KI-Markt, doch die Veröffentlichung von DeepSeek schlug Wellen in der Branche und löste einen riesigen Hype aus. Doch als ob das nicht genug wäre, kam Qwen 2.5 auf den Markt – und übertraf DeepSeek in mehreren Bereichen. Wie andere Denkmodelle wie DeepSeek-R1 und OpenAIs O1 arbeitet Qwen 2.5-Max auf eine Weise, die seinen Denkprozess verbirgt, wodurch es schwieriger wird, seine Entscheidungslogik nachzuvollziehen.


In diesem Artikel werden ChatGPT, Qwen und DeepSeek anhand einer Reihe von wichtigen Herausforderungen auf Herz und Nieren geprüft, die von der Lösung von Rechenaufgaben bis hin zum Debuggen von Code reichen. Egal, ob Sie ein Entwickler auf der Suche nach dem perfekten KI-Codierungsassistenten , ein Forscher auf dem Gebiet der Quantenmechanik oder ein Geschäftsmann sind , heute werde ich versuchen, Ihnen zu verraten, welches Modell für Ihre Anforderungen (und Ihr Budget) die beste Wahl ist.


Vergleichende Analyse der Fähigkeiten von KI-Modellen: -

1. Chatgpt

ChatGPT, entwickelt von OpenAI, ist nach wie vor eine dominierende Kraft im KI-Bereich. Es basiert auf der leistungsstarken GPT-5-Architektur und wurde mithilfe von Reinforcement Learning from Human Feedback (RLHF) optimiert. Es ist eine zuverlässige Lösung für eine Reihe von Aufgaben, vom kreativen Schreiben bis zur technischen Dokumentation, und damit eine Top-Wahl für Content-Ersteller, Pädagogen und Startups. Es ist jedoch nicht perfekt. Wenn es um Spezialgebiete wie höhere Mathematik oder Nischenbereiche im Rechtsbereich geht, kann es Probleme geben. Darüber hinaus erschweren die hohen Infrastrukturkosten kleineren Unternehmen oder einzelnen Entwicklern den einfachen Zugriff darauf.


ChatGPT, das mit einer kräftigen Investition von über 3 Milliarden US-Dollar aufgebaut wurde, ist ein massives Infrastrukturmodell, während DeepSeek eine ähnliche Leistung mit nur 5,6 Millionen US-Dollar erzielte – ein klassischer China-Moment, nicht wahr?


2. Tiefensuche

Aus dem Nichts tauchte DeepSeek als Überraschungskandidat im KI-Rennen auf und forderte mit seinem Fokus auf Rechenpräzision und Effizienz die etablierten Giganten heraus.

Im Gegensatz zu seinen Konkurrenten ist es auf wissenschaftliche und mathematische Aufgaben zugeschnitten und wird mit Top-Datensätzen wie arXiv und Wolfram Alpha trainiert, was ihm hilft, in Bereichen wie Optimierung, Physiksimulationen und komplexen mathematischen Problemen gute Leistungen zu erbringen. Die wahre Stärke von DeepSeek ist, wie günstig es ist (kein China-Wortspiel beabsichtigt 😤). Während Modelle wie ChatGPT und Qwen enorme Ressourcen erfordern, erledigt Deepseek die Arbeit zu viel geringeren Kosten. Sie müssen also keine 1000 $ für ein ChatGPT-Abonnement ausgeben


Die Art und Weise, wie DeepSeek antwortet, wirkt ein wenig roboterhaft und eignet sich nicht gut für Aufgaben, die nicht zu technisch sind. Es eignet sich gut für bestimmte Bereiche wie Mathematik und Forschung, aber nicht für zwanglose oder kreative Gespräche.

3. Qwen

Wer hätte nach Deepseek gedacht, dass eine weitere chinesische KI auftaucht und die Macht übernimmt? Ein klassischer China-Schachzug – etwas verbreiten und dieses Mal ist es KI, lol

Qwen dominiert das Geschäftsspiel mit seinem mehrsprachigen Setup und zeichnet sich in Ländern wie Asien aus, insbesondere mit Mandarin und Arabisch. Es ist die erste Wahl für juristische und finanzielle Aufgaben und kein Argumentationsmodell wie DeepSeek R1, was bedeutet, dass Sie seinen Denkprozess nicht sehen können. Aber genau wie DeepSeek hat es diese roboterhafte Ausstrahlung, was es für Gelegenheits- oder Kreativarbeit weniger unterhaltsam macht. Wenn Sie etwas Flexibleres möchten, ist Qwen möglicherweise nicht die beste Wahl


Man kann es sich wie ein Team von Spezialisten vorstellen: Wenn man eine komplexe Frage zur Physik stellt, antworten nur die Experten für Physik, während der Rest des Teams inaktiv bleibt.


Testzeit: Vergleich der 3 KIs mit realen Problemen

Um Fairness und eine gründliche Bewertung zu gewährleisten, stellen wir einige der spannendsten Herausforderungen, wie z. B. schwierige Matheaufgaben, wilde Physikaufgaben, Programmieraufgaben und knifflige Fragen aus der realen Welt.

— — — — — — — — — — — —

1. Physik: Das Problem der rotierenden Kugel

Lassen Sie uns zunächst in das klassische Problem des „rotierenden Balls in einer Kiste“ eintauchen, das zu einem beliebten Maßstab geworden ist, um zu testen, wie gut verschiedene KI-Modelle mit komplexen Aufgaben umgehen.

Herausforderung : Simulieren Sie einen Ball, der in einer rotierenden Box hüpft, und befolgen Sie dabei die Gesetze der Physik.

Stellen Sie sich eine 2D-Form vor, die sich im Raum dreht. Darin prallt ein Ball von den Wänden ab, bleibt innerhalb der Grenzen und es wirkt keine äußere Kraft. Auf den ersten Blick mag es einfach erscheinen , aber die Berücksichtigung der Schwerkraft, der konstanten Rotation und der präzisen Kollisionsdynamik macht es zu einer anspruchsvollen Simulation. Sie werden überrascht sein, wie unterschiedlich KI-Modelle damit umgehen.

Prompt:-

 Write a Python script that simulates a yellow ball bouncing inside a rotating square. The ball should bounce realistically off the square's edges, with the square rotating slowly over time The ball must stay within the square's boundaries as the box rotates. Box Rotation: The box should rotate continuously. Ball Physics: The ball reacts to gravity and bounces off the box's walls. Ball Inside Boundaries: Make sure the ball doesn't escape the box's boundaries, even as the box rotates. Realistic Physics: Include proper collision detection and smooth animation Use Python 3.x with Pygame or any similar library for rendering


Ergebnisse:


1. ChatGPTs Ausgabe: Schnell, aber fehlerhaft

An ChatGPT hatte ich hohe Erwartungen. Aber die Ergebnisse? Sagen wir einfach, sie waren … enttäuschend. Während DeepSeek sich Zeit für Genauigkeit nahm, spuckte ChatGPT sofort ein sauber aussehendes Skript aus. Der Ball sprang nicht realistisch. Stattdessen gab es Störungen an den Rändern der Box , blieb manchmal in den Ecken hängen oder ging durch die Wände. Es ist klar, dass ChatGPT Geschwindigkeit der Tiefe vorzieht und eine Lösung liefert, die funktioniert – aber nur im grundlegendsten Sinne.

Chatgpt-Code:

 import pygame import math # Initialize Pygame pygame.init() # Constants WIDTH, HEIGHT = 600, 600 FPS = 60 GRAVITY = 0.2 BOUNCE_DAMPING = 0.8 ROTATION_SPEED = 0.5 # Degrees per frame BALL_RADIUS = 10 # Colors YELLOW = (255, 255, 0) WHITE = (255, 255, 255) BLACK = (0, 0, 0) # Screen setup screen = pygame.display.set_mode((WIDTH, HEIGHT)) clock = pygame.time.Clock() # Square properties square_center = (WIDTH // 2, HEIGHT // 2) square_size = 300 angle = 0 # Ball properties ball_pos = [WIDTH // 2, HEIGHT // 2 - 50] ball_velocity = [2, 0] # Function to rotate a point around a center def rotate_point(point, center, angle): x, y = point cx, cy = center radians = math.radians(angle) cos_a, sin_a = math.cos(radians), math.sin(radians) new_x = cos_a * (x - cx) - sin_a * (y - cy) + cx new_y = sin_a * (x - cx) + cos_a * (y - cy) + cy return new_x, new_y # Main loop running = True while running: screen.fill(BLACK) for event in pygame.event.get(): if event.type == pygame.QUIT: running = False # Apply gravity ball_velocity[1] += GRAVITY # Move ball ball_pos[0] += ball_velocity[0] ball_pos[1] += ball_velocity[1] # Compute rotated square corners half_size = square_size // 2 square_corners = [ (-half_size, -half_size), (half_size, -half_size), (half_size, half_size), (-half_size, half_size) ] rotated_corners = [rotate_point((square_center[0] + x, square_center[1] + y), square_center, angle) for x, y in square_corners] # Check for collisions for i in range(4): p1, p2 = rotated_corners[i], rotated_corners[(i + 1) % 4] dx, dy = p2[0] - p1[0], p2[1] - p1[1] length = math.hypot(dx, dy) normal = (-dy / length, dx / length) # Perpendicular normal # Distance from ball to edge projection = (ball_pos[0] - p1[0]) * normal[0] + (ball_pos[1] - p1[1]) * normal[1] if projection < BALL_RADIUS: # Ball is colliding with edge # Reflect velocity dot = ball_velocity[0] * normal[0] + ball_velocity[1] * normal[1] ball_velocity[0] -= 2 * dot * normal[0] ball_velocity[1] -= 2 * dot * normal[1] # Apply bounce damping ball_velocity[0] *= BOUNCE_DAMPING ball_velocity[1] *= BOUNCE_DAMPING # Move ball out of collision ball_pos[0] += normal[0] * (BALL_RADIUS - projection) ball_pos[1] += normal[1] * (BALL_RADIUS - projection) # Rotate square angle += ROTATION_SPEED # Draw rotated square pygame.draw.polygon(screen, WHITE, rotated_corners, 2) # Draw ball pygame.draw.circle(screen, YELLOW, (int(ball_pos[0]), int(ball_pos[1])), BALL_RADIUS) # Update display pygame.display.flip() clock.tick(FPS) pygame.quit()


Ausgabe:

2. Tiefensuche

Die Ergebnisse von DeepSeek haben mich wirklich überrascht. Während ChatGPT schnell Code generierte, brauchte DeepSeek 200 Sekunden, um über das Problem nachzudenken. DeepSeek hat nicht nur ein funktionsfähiges Skript geschrieben , sondern eine hochoptimierte, physikgenaue Simulation erstellt, die jeden Grenzfall fehlerfrei bewältigte.


DeepSeeks Code:

 import pygame import math # Initialize Pygame pygame.init() # Constants WIDTH, HEIGHT = 600, 600 SQUARE_SIZE = 400 SQUARE_HALF = SQUARE_SIZE // 2 BALL_RADIUS = 10 GRAVITY = 0.5 RESTITUTION = 0.8 ANGULAR_VELOCITY = 1 # Degrees per frame # Setup display screen = pygame.display.set_mode((WIDTH, HEIGHT)) pygame.display.set_caption("Bouncing Ball in Rotating Square") clock = pygame.time.Clock() # Initialize variables square_center = (WIDTH//2, HEIGHT//2) angle = 0 ball_pos = [WIDTH//2, HEIGHT//2] ball_vel = [0, 0] def rotate_point(point, center, angle): """Rotate a point around a center by given angle (degrees)""" theta = math.radians(-angle) ox, oy = center px, py = point qx = ox + math.cos(theta) * (px - ox) - math.sin(theta) * (py - oy) qy = oy + math.sin(theta) * (px - ox) + math.cos(theta) * (py - oy) return qx, qy running = True while running: dt = clock.tick(60) / 1000 # Delta time in seconds # Event handling for event in pygame.event.get(): if event.type == pygame.QUIT: running = False # Update square rotation angle = (angle + ANGULAR_VELOCITY) % 360 # Apply physics ball_vel[1] += GRAVITY ball_pos[0] += ball_vel[0] * dt ball_pos[1] += ball_vel[1] * dt # Collision detection and response # Convert ball position to square's local coordinate system translated = (ball_pos[0] - square_center[0], ball_pos[1] - square_center[1]) rotated = rotate_point((translated[0], translated[1]), (0, 0), -angle) collision = False new_local_x, new_local_y = rotated[0], rotated[1] # Check boundaries in local coordinates if rotated[0] < -SQUARE_HALF + BALL_RADIUS: new_local_x = -SQUARE_HALF + BALL_RADIUS collision = True elif rotated[0] > SQUARE_HALF - BALL_RADIUS: new_local_x = SQUARE_HALF - BALL_RADIUS collision = True if rotated[1] < -SQUARE_HALF + BALL_RADIUS: new_local_y = -SQUARE_HALF + BALL_RADIUS collision = True elif rotated[1] > SQUARE_HALF - BALL_RADIUS: new_local_y = SQUARE_HALF - BALL_RADIUS collision = True if collision: # Convert corrected position back to global coordinates corrected = rotate_point((new_local_x, new_local_y), (0, 0), angle) ball_pos[0] = corrected[0] + square_center[0] ball_pos[1] = corrected[1] + square_center[1] # Calculate reflection in local coordinates local_vel = rotate_point(ball_vel, (0, 0), -angle) if new_local_x != rotated[0]: # X-axis collision local_vel = (-local_vel[0] * RESTITUTION, local_vel[1]) if new_local_y != rotated[1]: # Y-axis collision local_vel = (local_vel[0], -local_vel[1] * RESTITUTION) # Convert velocity back to global coordinates global_vel = rotate_point(local_vel, (0, 0), angle) ball_vel[0], ball_vel[1] = global_vel[0], global_vel[1] # Drawing screen.fill((0, 0, 0)) # Draw rotating square square = pygame.Surface((SQUARE_SIZE, SQUARE_SIZE), pygame.SRCALPHA) pygame.draw.rect(square, (255, 0, 0), (0, 0, SQUARE_SIZE, SQUARE_SIZE), 2) rotated_square = pygame.transform.rotate(square, angle) screen.blit(rotated_square, rotated_square.get_rect(center=square_center)) # Draw ball pygame.draw.circle(screen, (255, 255, 0), (int(ball_pos[0]), int(ball_pos[1])), BALL_RADIUS) pygame.display.flip() pygame.quit()

Ausgabe:

3. Qwens Ausgabe: Ein enttäuschender Versuch

Wenn die Ergebnisse von ChatGPT nicht geradezu überwältigend waren, dann waren die von Qwen geradezu enttäuschend . Angesichts des guten Rufs von Qwen bei der Bewältigung komplexer Aufgaben hatte ich wirklich hohe Erwartungen an seine Leistung. Aber als ich seinen Code für die Simulation der rotierenden Kugel ausführte, waren die Ergebnisse weit von meinen Erwartungen entfernt . Wie ChatGPT generierte Qwen Code fast sofort – ohne großes Nachdenken.

Der Ball befand sich während des Großteils der Simulation außerhalb des Kastens und widersprach damit völlig den Gesetzen der Physik. Der Kasten selbst befand sich zur Hälfte außerhalb des Rahmens , sodass nur ein Teil davon auf der Leinwand sichtbar war.

Qwens Kodex

 import pygame import math # Initialize Pygame pygame.init() # Screen dimensions WIDTH, HEIGHT = 600, 600 screen = pygame.display.set_mode((WIDTH, HEIGHT)) pygame.display.set_caption("Bouncing Ball in Rotating Square") # Colors YELLOW = (255, 255, 0) WHITE = (255, 255, 255) BLACK = (0, 0, 0) # Clock for controlling frame rate clock = pygame.time.Clock() FPS = 60 # Box properties box_size = 300 box_center = (WIDTH // 2, HEIGHT // 2) angle = 0 # Initial rotation angle rotation_speed = 1 # Degrees per frame # Ball properties ball_radius = 10 ball_pos = [box_center[0], box_center[1] - box_size // 4] # Start near the top center of the box ball_velocity = [4, 0] # Initial velocity (x, y) gravity = 0.2 # Gravity effect # Function to rotate a point around another point def rotate_point(point, angle, origin): ox, oy = origin px, py = point qx = ox + math.cos(math.radians(angle)) * (px - ox) - math.sin(math.radians(angle)) * (py - oy) qy = oy + math.sin(math.radians(angle)) * (px - ox) + math.cos(math.radians(angle)) * (py - oy) return qx, qy # Main game loop running = True while running: screen.fill(BLACK) # Handle events for event in pygame.event.get(): if event.type == pygame.QUIT: running = False # Update ball physics ball_velocity[1] += gravity # Apply gravity ball_pos[0] += ball_velocity[0] ball_pos[1] += ball_velocity[1] # Rotate the box angle += rotation_speed if angle >= 360: angle -= 360 # Define the four corners of the square corners = [ (-box_size / 2, -box_size / 2), (box_size / 2, -box_size / 2), (box_size / 2, box_size / 2), (-box_size / 2, box_size / 2) ] # Rotate the corners around the center rotated_corners = [rotate_point(corner, angle, box_center) for corner in corners] # Check collision with the edges of the box collided = False for i in range(4): p1 = rotated_corners[i] p2 = rotated_corners[(i + 1) % 4] # Line segment between p1 and p2 x1, y1 = p1 x2, y2 = p2 # Closest point on the line to the ball dx = x2 - x1 dy = y2 - y1 t = max(0, min(1, ((ball_pos[0] - x1) * dx + (ball_pos[1] - y1) * dy) / (dx * dx + dy * dy))) closest_x = x1 + t * dx closest_y = y1 + t * dy # Distance between ball and closest point distance_sq = (closest_x - ball_pos[0]) ** 2 + (closest_y - ball_pos[1]) ** 2 if distance_sq <= ball_radius ** 2: # Collision detected collided = True # Normal vector of the edge edge_length = math.hypot(dx, dy) nx = -dy / edge_length ny = dx / edge_length # Reflect the velocity vector dot_product = ball_velocity[0] * nx + ball_velocity[1] * ny ball_velocity[0] -= 2 * dot_product * nx ball_velocity[1] -= 2 * dot_product * ny # Ensure the ball stays inside the box if not collided: # Clamp the ball position within the box ball_pos[0] = max(box_center[0] - box_size / 2 + ball_radius, min(ball_pos[0], box_center[0] + box_size / 2 - ball_radius)) ball_pos[1] = max(box_center[1] - box_size / 2 + ball_radius, min(ball_pos[1], box_center[1] + box_size / 2 - ball_radius)) # Draw the rotating square pygame.draw.polygon(screen, WHITE, rotated_corners, 2) # Draw the ball pygame.draw.circle(screen, YELLOW, (int(ball_pos[0]), int(ball_pos[1])), ball_radius) # Update the display pygame.display.flip() # Cap the frame rate clock.tick(FPS) # Quit Pygame pygame.quit()


2. Vergleich der Antworten von ChatGPT, Qwen und DeepSeek auf ein klassisches Verfolgungsrätsel

Wenn es um die Lösung realer Probleme geht, sind nicht alle KI-Modelle gleich. Um ihre Fähigkeiten zu testen, habe ich ein klassisches Verfolgungsproblem vorgestellt:


„Ein wertvolles Artefakt wurde gestohlen. Der Besitzer nahm die Verfolgung auf, nachdem der Dieb bereits 45 km geflohen war. Nach 160 km stellte der Besitzer fest, dass der Dieb noch 18 km vor ihm lag. Wie viele Kilometer muss der Besitzer noch zurücklegen, um den Dieb zu fassen?“


1. Antwort von ChatGPT

ChatGPT brauchte 3 Versuche, um die richtige Antwort zu finden. Zunächst interpretierte es das Problem falsch, korrigierte sich aber schließlich selbst und zeigte Ausdauer, obwohl es bei den ersten Versuchen an Effizienz mangelte


2. DeepSeeks Antwort

DeepSeek antwortete ebenfalls beim ersten Versuch richtig, brauchte aber etwas länger als Qwen. Es lieferte eine detaillierte, schrittweise Lösung mit klarer Begründung und bewies damit seine Stärke in Bezug auf tiefes Denken und Genauigkeit.


2. Qwens Antwort

Qwen antwortete gleich beim ersten Versuch richtig und war dabei schneller als DeepSeek. Es lieferte eine präzise und präzise Lösung ohne unnötige Schritte und zeigte damit eine hohe Geschwindigkeit und Präzision bei der Problemlösung.


Abschluss

Während alle drei KIs schließlich richtig antworteten, stach Qwen durch seine Geschwindigkeit und Effizienz hervor, während DeepSeek seinen methodischen Ansatz demonstrierte. ChatGPT erforderte mehrere Versuche


Humanisierung von KI-Inhalten: Die menschliche Seite der KI

Während Geschwindigkeit und Effizienz bei KI oft gepriesen werden, ist die emotionale Intelligenz der eigentliche Wendepunkt – die Fähigkeit, menschliche Emotionen zu verstehen, zu interpretieren und darauf zu reagieren. Während KI-Modelle wie DeepSeek sich durch Präzision und Logik auszeichnen, glänzt ChatGPT durch Kreativität. Lassen Sie es uns testen

— — — — — — — —

Aufforderung: Write a messy emotional love letter

— — — — — — — —


Chatgpt:


Tiefensuche:

Qwen:

Interessanterweise hatten alle drei Modelle – ChatGPT, DeepSeek und Qwen – Schwierigkeiten, sich von ihren KI-generierten Mustern zu lösen, als sie auf menschenähnliche Originalität getestet wurden. Hinweis: Alle drei begannen ihre Antworten mit demselben Robotersatz: „Ich weiß nicht einmal, wo ich anfangen soll . Wie auch immer, ich hatte hohe Erwartungen an Chatgpt , aber Qwen hat gewonnen!


Wichtige Erkenntnisse:

DeepSeek *: Die erste Wahl für Recherche und kritisches Denken , übertrifft andere in puncto Präzision und Tiefe.*

Qwen *: Konnte DeepSeek beim Lösen des klassischen Rätsels im ersten Versuch ebenbürtig sein und siegte bei humanisierten Inhalten , was es zu einem starken Allrounder macht.*

ChatGPT *: Es hat mehrere Versuche gebraucht, um das Rätsel zu lösen, aber es bleibt die erste Wahl für kreative Aufgaben und menschenähnliche Interaktionen .*


Endgültiges Urteil: Wer sollte welche KI verwenden?

  • Forscher : DeepSeek
  • Ingenieure : DeepSeek
  • Autoren : ChatGPT oder Qwen
  • Anwälte : Qwen withchatgpt
  • Pädagogen : ChatGPT
  • Inhaltsersteller : Qwen und tiefgründiges Denken von Deepseek

Abschluss:

Ich würde mich freuen, Ihre Meinung in den Kommentaren zu hören und mich zu korrigieren, wenn ich falsch liege. Wenn Sie diesen Artikel hilfreich fanden, klatschen Sie, teilen Sie ihn und teilen Sie Ihre Ansichten. Unterstützen Sie mich gerne *** Hier ***oder UPI: jainhvj@fam


Ich freue mich darauf, dieses riesige Feld weiter zu lernen und zu erforschen. Ich freue mich über Ihr Feedback und auf aufschlussreiche Diskussionen

Danke schön!