• SkavarSharraddas@gehirneimer.de
    link
    fedilink
    arrow-up
    4
    ·
    5 days ago

    Kommt drauf an ob prinzipbedingtes Problem ist oder nicht, bei ersteren kann man nur versuchen die “KI” zu überreden nicht die Antworten zu geben die man nicht haben will (“don’t talk about goblins”) oder für Einzelfälle die richtige Antwort vorgeben (jede virale falsche Antwort wie “how many r in strawberry” die dann richtig beantwortet wird, aber keine generelle Lösung für andere Fragen der gleichen Klasse bietet).

    • Anivia@feddit.org
      link
      fedilink
      arrow-up
      1
      ·
      edit-2
      4 days ago

      oder für Einzelfälle die richtige Antwort vorgeben (jede virale falsche Antwort wie “how many r in strawberry” die dann richtig beantwortet wird, aber keine generelle Lösung für andere Fragen der gleichen Klasse bietet).

      Ne, da hast du ein schlechtes Beispiel gewählt, denn das Problem taucht nur bei “gewöhnlichen” LLMs auf, nicht bei reasoning Modellen. Für das Beispiel muss man also nicht für den Einzelfall die Lösung vorgeben, reasoning Modelle haben mit der Frage keine Probleme

      Auch OPs Beispiel wird nur von gewöhnlichen LLMs falsch beantwortet, reasoning Modelle beantworten die Frage richtig: