ChatGPT在美国最高法院测试中表现不佳

setu66

聊天生成预训练变压器是一个由人工智能 (AI) 支持的程序，旨在取代审判中的律师和法官，但在 （一个专门报道聊天内容的网站）进行的测试中表现不佳。美国最高法院。 再生产 再生产 为了测试 ChatGPT，并了解法律从业者是否需要担心这项新技术，Sg 的编辑准备了一份有关最高法院的 50 个问题清单。正确回答了 22 个问题（表中绿色），错误回答了 25 个问题（红色），并对 3 个问题给出了不完整甚至误导性的答案（黄色）——换句话说，它的表现还不到 50%。 [在右栏中辑解释了错误的答案。] 在一些查明有关最高法院判决、程序、学说和历史的问题中，Ch犯了严重错误，也犯了一些不太严重的错误。 例如，当被问及前总统唐纳德·特朗普任命了多少名法官时（问题 35）， 回答“两名——尼尔·戈萨奇和布雷特·卡瓦诺”。你没有提到艾米·巴雷特。编辑们向他询问有关部长的问题，他纠正了自己。

在关于前部长露丝·巴德·金斯伯的三张值得注意的投票的问题 (中，ChatGPT 正确识别并总结了两票，但错误地回答说她在奥伯格费尔诉金斯堡案中写了反对票。霍奇斯，同性婚姻合法化的决定。根据的说法，她会写道，法院应将这一决定留给各州。但事实上，RBG 以多数票支持同性婚姻。 对于的编辑来说，这个简单的历史事实问题的正确答案很容易在其他来源中找到，例如维基百科和谷歌。因此，他们开始了另一场会议，特别询问 RBG 是否撰 C级联系人列表 写了对同性婚姻决定的反对票PT 再次答错，并给出了不合理的解释。 在关于法院“CVSG”行话的问题（18）中，ChatGPT 正确地写道，它的意思是“征求副检察长的意见”（请求联邦政府提供意见）。但他错误地表示，当政府参与这一进程时，这一点就适用。事实上，法院只是在某些联邦政府不是当事方的案件中征求工会总检察长的意见。



在关于除法院最新部长之外的职责的问题（45）中，ChatGPT 列出了一份任务清单，所有这些任务都是错误的（包括副部长负责维护法院大楼）。法官埃琳娜·卡根(Elena Kagan)描述了“初级”部长的额外职责：在部长私人会议期间做笔记，在会议期间应门，以及在“自助餐厅委员会”任职。 在关于弹劾部长的问题（49）中，他正确地回答了众议院于 1804 年批准了对前部长塞缪尔·蔡斯的弹劾，但在 1933 年发明了对詹姆斯​​·F·韦斯特的弹劾。 1933 年，詹姆斯·F·韦斯特 未担任过最高法院法官。 ChatGPT也犯了一些小错误，正确回答了一些问题，但在一两个细节上感到困惑。例如，对于问题 28，他给出了正确答案，告知最高法院第一位为案件辩护的女性是律师贝尔瓦·安·洛克伍德 (但他弄错了年份：他引用的是 1879 年，而实际上是年。 正确回答简单和困难的答案 ChatGPT正确回答了简单和复杂的问题。