文 | 追问 nextquestion

自 2022 年底以来，ChatGPT 如一股澎湃的春潮，席卷了全球，东谈主们对其潜在的应用场景无不心生向往。商界东谈主士、学者乃至日常生计中的普通东谈主，齐在想索澌灭个问题：我方的责任将来会怎样被 AI 塑造？

跟着时候荏苒，好多构想冉冉落地，东谈主访佛乎照旧习尚于 AI 在许多责任场景匡助以致替代咱们的本色责任。早期东谈主们对 GPT 的怯怯冉冉散失，反而变得过度依赖 GPT，以致忽略了可能的局限性与风险。这种鼎力依赖 GPT 并忽视其风险的情况，咱们称之为" GPT 学"（GPTology）。

心思学的发展一直牢牢陪伴科技的创新，社会学家与行动科学家老是依赖尽可能多的时期来采集丰富的数据类型，从神经影像时期、在线阅览平台到眼动跟踪时期的斥地等，齐助力心思学取得了症结性的蹂躏。数字改进和大数据的兴起推动了操办社会科学等新学科的造成。正如其他规模（医学 [ 1 ] 、政事 [ 2 ] ）雷同，大要以惊东谈主的深重性和复杂性意会、生成和翻译东谈主类言语的大言语模子（LLM），对心思学也产生了潜入的影响。

在心思学规模，大言语模子有两类主流应用模式：一方面，通过谋划大言语模子自己的机制，可能对东谈主类剖判的谋划提供新的视力；另一方面，这些模子在文天职析和生成方面的才智，使得它成为了分析文本数据的强盛器具，如它们能将个东谈主的书面或表面抒发等文本数据，转机为可分析的数据边幅，从而协助心思健康专科东谈主员评估和意会个体的心思情状。最近，使用大言语模子促进心思学谋划的后果普遍涌现，ChatGPT 在社会与行动科学规模的应用，如仇恨言论分类、情感分析等，已娇傲出其初步后果和宽阔的发展远景。

可是，咱们应该放任面前" GPT 学"的势头在科研规模淡漠吗？事实上扫数科技创新的交融进程老是充满涟漪的，放任某种时期的应用与对其依赖过深，齐可能会导致出东谈主想到的后果。回望心思学的发展历程，当功能性磁共振成像（fMRI）时期初露矛头时，便有谋划者浮滥此时期，导致了一些无理却在统计学上权臣的神经关联征象——比方，谋划东谈主员对一条照旧厌世的大欧好意思鲑鱼进行了 fMRI 扫描，终局娇傲该鱼在实验期间阐明出权臣的脑行径；还有谋划标明，由于统计误用，fMRI 谋划中发现弱点干系性的可能性极高。这些谋划照旧过问心思学的教科书，警示扫数心思学学生与谋划东谈主员在濒临新时期时应保抓警惕。

▷Abdurahman, Suhaib, et al. "Perils and opportunities in using large language models in psychological research."   PNAS nexus   3.7 ( 2024 ) : pgae245.

不错说，咱们照旧过问了与大言语模子相处的"寂静期"，除了想考大言语模子不错作念什么，咱们更需要反想是否以及为何要使用它。近日 PNAS Nexus 的综述论文便探讨了大言语模子在心思学谋划中的应用，止境为谋划东谈主类行动学带来的新机遇。

著作承认 LLMs 在晋升心思学方面的潜在效能，但同期也强调了对其未经审慎应用的警惕。面前这些模子在心思学谋划中可能引起的统计上权臣但好奇不解确的干系性，是谋划者必须幸免的。作家提醒到，濒临近几十年来该规模遭遇的访佛挑战（如简直度改进），谋划东谈主员应严慎对待 LLMs 的应用。该文还淡薄了在将来怎样更批判性和严慎性地诈欺这些模子以鼓吹心思学谋划的场合。

01 大言语模子不错替代东谈主类被试吗？

提到大言语模子，东谈主们最直不雅的感受等于其高度"类东谈主"的输出才智。Webb 等东谈主进修了 ChatGPT 的类比推理才智 [ 3 ] ，发现它已涌现出了零样本推理才智，大要在莫得明确教育的情况下措置庸碌的类比推理问题。一些东谈主合计，要是像 ChatGPT 这么的 LLM 如实大要对心思学中的常见测量产生访佛东谈主类的响应（举例对行动的判断、对价值的招供、对社会问题的看法），那么它们在将来可能会取代东谈主类受试者群体。

针对这个问题，Dillion 等东谈主进行了故意的谋划 [ 4 ] ：率先，通过比较东谈主类与言语模子（GPT-3.5）在谈德判断上的干系性，他们敬佩了言语模子不错复制一些东谈主类判断的不雅点；但他们也淡薄了解释言语模子输出的挑战。从道理上说，LLM 的"想维"成立在东谈主类的当然抒发之上，但本色能代表的东谈主群有限，况兼有过于简化东谈主类复杂行动想想的风险。这是一种警示，因为这种对 AI 系统拟东谈主化的倾向可能会误导咱们，让咱们欲望那些基于压根不同道理运行的系统阐明出类东谈主阐明。

从面前的谋划来看，使用 LLM 模拟东谈主类被试至少有三大问题。

率先，剖判进程的跨文化互异是心思学谋划中极为重要的一环，但好多凭证标明，面前流行的大言语模子无法模拟出这么的互异。像 GPT 这么的模子主要基于 WEIRD（西方、受过诠释的、工业化的、浪费的、民主的）东谈主群的文本数据教育。这种以英语为中心的数据处理不断了心思学的英语中心办法，与对言语各类性的期待以火去蛾中。言语模子也因此难以准确反应大家群体的各类性。举例，ChatGPT 娇傲出偏向男性视角和叙事的性别偏见，偏向好意思国视角或一般多数东谈主群的文化偏见，以及偏向目田办法、环保和左翼目田意志办法不雅点的政事偏见。这些偏见还延迟到个性、谈德和刻板印象。

总的来说，由于模子输出高度反应 WEIRD 东谈主群心思，当东谈主类样本不那么 WEIRD 时，AI 与东谈主类之间的高度干系性无法重现。在心思学谋划中，过度依赖 WEIRD 被试（举例北好意思的大学生）的征象一度激发了斟酌，用 LLM 的输出替代东谈主类参与者将是一个倒退，会使得心思学谋划变得愈加狭窄，普适性更差。

▷将 ChatGPT 与按政事不雅点分组的东谈主类对"大五东谈主格"的反应进行比较。注：图中娇傲了东谈主类和 ChatGPT 在大五东谈主格结构和不同东谈主口统计数据中的响应漫衍。图中娇傲，ChatGPT 在宜东谈主性、遵法性方面给出了明白更高的响应，而在敞开性和神经质方面给出了明白较低的响应。重要的是，与扫数东谈主口统计群体比拟，ChatGPT 在扫数个性维度上娇傲出明白较小的互异。

其次，大言语模子似乎存在"正确谜底"偏好，也就是说LLM 在恢复心思学阅览的问题时变化幅度较小——即使这些问题波及的主题（举例谈德判断）并莫得本色的正确谜底——而东谈主类对这些问题的恢复时常具有各类性。当条款 LLM 屡次恢复澌灭个问题，并测量其恢复的互异时，咱们会发现大言语模子的恢复无法像东谈主类雷同产生想想上权臣的互异。这依旧与生成式言语模子背后的道理分不开，它们通过自转头的阵势操办下一个可能出现的单词的概率漫衍来生成输出序列。从主张上讲，反复向 LLM 发问访佛于反复向澌灭个参与者发问，而不是向不同的参与者发问。

可是，心思学家平素感兴味的是谋划不同参与者之间的互异。这劝诫咱们当想用大言语模子模拟东谈主类被试时，不成浅薄地用大言语模子模拟群体平均值，或用它模拟个体在不同任务中的反应；应当斥地出合适的方法真正再现东谈主类样本复杂性。此外，教育大言语模子的数据可能照旧包含许多心思学实验中使用的技俩和任务，导致模子在接受测试时依赖挂念而不是推理，又进一步加重了上述问题。为了赢得对 LLM 类东谈主行动的无偏评估，谋划东谈主员需要确保他们的任务不属于模子的教育数据，或鼎新模子以幸免影响实验终局，比如通过"去学习"等方法。

临了，GPT 是否的确造成与东谈主类访佛的谈德体系亦然值得怀疑的。通过向 LLM 发问，成立它内在的逻辑关系采集（nomological network），不雅察不同谈德规模之间的干系性，发现这两个方针齐与基于东谈主类得到的终局大不相通。

▷ChatGPT 与东谈主类谈德判断。注：a）东谈主类谈德判断（浅蓝色）和 GPT（浅红色）在六个谈德规模的漫衍。虚线代表平均值。b ) 东谈主类谈德价值不雅之间的相互关系（?=3902）和 ChatGPT 问答（?=1000 ⁠）。c ) 基于来自 19 个国度 ( 30 ) 的不同东谈主类样本和 1000 个 GPT 问答的谈德价值不雅之间的部分干系采集。蓝色角落示意正偏干系，红色角落示意负偏干系。

总结来说，LLM 会忽略东谈主群的各类性，无法阐明出权臣性互异，无法复现逻辑关系采集——这些不及告诉咱们，LLM 不应该取代对智东谈主（Homo sapiens）的谋划，但这并不虞味着心思学谋划要鼓胀甩掉 LLM 的使用。一方面，将传统上用于东谈主类的心思学测量用于 AI 的确道理，但是对其终局的解读应当愈加严慎；另一方面，将 LLM 算作东谈主类的代理模子模拟东谈主类行动时，其中间层参数不错为咱们提供探索东谈主类剖判行动的潜在角度，但这一进程应该在严格界说了环境、代理、互动及终局的前提下进行的。

由于 LLM 的"黑箱"特征，以及前文提到的输出平素与东谈主类真正行动不雷同的近况，这种期盼还很难成真。但咱们不错期待，将来也许不错斥地出更矜重的要领，使得在心思学谋划中的 LLM 模拟东谈主类行动变得愈加可行。

02 大言语模子是文天职析的万金油吗？

除了其仿东谈主的特质，LLM 最大的特质等于其强盛的言语处理才智，可是将当然言语处理方法用于心思学谋划并不是重生之物，想要意会为什么 LLM 的应用引起当下如斯大的争议，咱们需要了解它在应用上与传统的当然言语处理方法有什么不同。

使用预教育言语模子的当然言语处理（NLP）方法，不错按照是否波及参数更新分为两类。波及参数更新意味着将预教育的言语模子在特定任务的数据集上进行进一步教育。比拟之下，零样本学习（zero-shot learning）、单样本学习（one-shot learning）和少样本学习（few-shot learning）则不需要进行梯度更新，它们径直诈欺预教育模子的才智，从有限的或莫得任务特定数据中进行泛化，借助模子的已有常识和意会来完成任务。

LLM 才智的跨期间飞跃——举例它大要在无需特定任务鼎新的情况下处理多种任务，用户友好的想象也减少了对复杂编码的需求——使得最近越来越多谋划将其零样本才智 * 用于心思学文天职析，包括情感分析、攻击性言语识别、想维阵势或情感检测等多种方面。

*LLM 零样本才智是指模子在莫得接受过特定任务的教育或优化的情况下，径直诈欺其预教育时赢得的常识来意会和施行新的任务。举例，大言语模子能在莫得针对性教育数据的扶植下，通过意会文本内容和落魄文，识别文本是积极的、无望的如故中性的。

可是，跟着应用的深入，越来越多的声息运转指出 LLM 的局限性。率先，LLMs 在濒临轻捷的指示变化时可能会产生不一致的输出，况兼在汇总屡次重叠对不同指示的输出时，LLM 无意也无法达到科学可靠性的标准。其次，Koco ń 等东谈主 [ 5 ] 发现，LLMs 在处理复杂、主不雅性任务（如情感识别）时可能会遭遇盘曲。临了，反不雅传统的微调模子，LLMs 零样本应用的便利性与模子微调之间的互异可能并不像平素合计的那样权臣。

咱们要知谈，针对各类任务微调过的微型言语模子也不断在发展，如今越来越多的模子变得公开可用；同期也有越来越多高质料和专科化的数据集可供谋划东谈主员用于微调言语模子。尽管 LLMs 的零样本应用可能提供了即时的便利性，但最方便的摄取时常并不是最灵验的，谋划者应在被便利性诱惑时保抓必要的严慎。

为了更直不雅地不雅察 ChatGPT 在文本处理方面的才智，谋划者们成就了三种水平的模子：零样本、少样本和微调，来分歧索求在线文本中的谈德价值不雅。这是一个阻抑的任务，因为即使是经过培训的东谈主类标注者也时常意见不一。言语中谈德价值不雅的抒发平素特别隐约，而由于长度舍弃，在线帖子时常包含很少的布景信息。谋划者提供了 2983 个包含谈德或非谈德言语的外交媒体帖子给 ChatGPT，并条款它判断帖子是否使用了任何特定类型的谈德言语。然后将其与一个在单独的外交媒体帖子子聚拢微调的微型 BERT 模子进行了比较，以东谈主类评价者的判定算作评判标准。

终局发现，微调后的 BERT 模子阐明远胜于零样本成就下的 ChatGPT，BERT 达到了 0.48 的 F1 分数，而 ChatGPT 唯有 0.22，即使是基于 LIWC 的方法也在 F1 分数上卓绝了 ChatGPT（零样本），达到了 0.27。ChatGPT 在预测谈德情感方面阐明得极其极点，而 BERT 简直在扫数情况下与经过培训的东谈主类标注者的互异并不权臣。

尽管 LIWC 是一个限制更小、复杂度更低且老本更低的模子，但在偏离经过教育的东谈主类标注者方面的可能性和极点进程权臣低于 ChatGPT。如预期的那样，在实验中，少样本学习和微调均晋升了 ChatGPT 的阐明。咱们得出两个论断：率先，LLM 所声称的跨落魄文和天真性上风可能并不老是成立；其次，诚然 LLM "即插即用"相当便利，但无意可能会透澈失败，而顺应的微调不错缓解这些问题。

除了文本标注中的不一致性、解释复杂主张（如隐性仇恨言论）的不及，以及在专科或敏锐规模可能衰退深度这几个方面外，衰退可解释性亦然 LLM 饱受诟病之处。LLMs 算作强盛的言语分析器具，其庸碌的功能来自于遍及的参数集、教育数据和教育进程，可是这种天真性和性能的晋升是以裁汰可解释性和可重叠性为代价的。LLM 所谓的更强预测才智，是心思学文天职析谋划者倾向于使用基于神经采集的模子的重要原因。但要是无法权臣超越从上至下的方法的话，那么后者在可解释性上的上风可能促使心思学家止境他社会科学家转而使用更传统的模子。

轮廓来看，在许多应用场景中，较小的（经过微调的）模子不错比面前的大型（生成式）言语模子更强盛且更少偏差，尤其当大言语模子处于零样本和少样本成就中时。比如，在探索焦急症患者在线扶植论坛的言语时，使用较小的、故意化的言语模子的谋划东谈主员可能大要发现与谋划规模径直干系的深重细节和特定的言语模式（举例，担忧、不细目性的耐受性）。这种有针对性的方法不错深入了解焦急症患者的经验，揭示他们特有的挑战和潜在的过问步伐。通过诈欺故意化的言语模子或像 CCR、LIWC 这么的从上至下的方法，谋划东谈主员不错在广度和深度之间取得均衡，从而大要更清雅地探索文本数据。

尽管如斯，LLMs 算作文天职析器具，在微调数据稀缺的情况下——举例新兴主张或谋划不及的群体时——其零样本才智可能仍然不错提供有价值的阐明，使谋划东谈主员大要探讨一些病笃的谋划课题。在这些情况下，摄取少样本指示（few-shot prompting）的方法可能既灵验又高效，因为它们只需要一丝具有代表性的示例即可进行。

另外，有谋划标明 LLMs 不错从表面驱动的方法中受益，基于这个发现，斥地大要纠合这两种方法上风的时期，是将来谋划的一个有远景的场合。跟着大型言语模子时期的快速进展，措置其性能和偏差问题仅仅时候问题，展望这些挑战将在不远的将来得到灵验缓解。

03 不可忽略的可重叠性

可重叠性指的是使用相通的数据和方法不错复制和考据终局的才智。可是，LLM 的黑箱性情使得干系谋划终局难以再现。对依赖 LLM 生成的数据或分析的谋划来说，这一舍弃组成了杀青再现性的紧要攻击。

举例，LLM 经过更新，其偏好可能会发生变化，这可能会影响先前已成立的"最好实例"和"去偏差战略"的灵验性。面前，ChatGPT 止境他闭源模子并不提供它们的旧版块，这舍弃了谋划东谈主员使用特定时候点的模子来复现谋划终局的才智。举例，" gpt3.5-January-2023 "版块一朝更新，先前的参数和生成的输出也可能随之转变，这对科研的严谨性组成挑战。重要的是，新版块并不保证在扫数任务上的性能齐会相通或更好。举例，GPT-3.5 和 GPT-4 被报谈在各类文天职析任务上存在不一致的终局—— GPT-4 无意阐明得比 GPT-3.5 更差 [ 6 ] ——这进一步加深了东谈主们对模子的非透明变化的担忧。

除了从科学的敞开性（open science）角度来看 LLM 的黑箱性质，谋划东谈主员更介怀的其实是"知其然，知其是以然"的科研精神——在赢得高质料、有信息量的语义示意时，咱们更应该温雅的是用于生成这些输出的算法，而不是输出终局自己。在曩昔，操办模子的主要上风之一在于它们允许咱们"窥伺里面"，某些心思进程难以被测试但不错通过模子进行揣度。因此，使用不提供此级别探问权限的专有 LLMs，可能会阻遏心思学和其他规模谋划者从操办科学的最新进展中获益。

04 总结

新一代对大家斥地的在线就业型 LLM（如 ChatGPT、Gemini、Claude）为许多谋划东谈主员提供了一个既强盛又易于使用的器具。可是，跟着这些器具的普及和易用性的增多，谋划东谈主员有职守保抓对这些模子才智与局限性的显露意志。尤其是在某些任务上，由于 LLM 的出色阐明和高度互动性，可能会让东谈主们误以为它们永久是谋划对象或自动化文天职析助手的最好摄取。这些诬蔑可能会简化东谈主们对这些复杂器具的意会，并作出不贤惠的决定。举例为了方便或因为衰退意志而幸免必要的微调，从而未能充分诈欺其一起才智，最终得到相对较差的效果，或者忽视了与透明度和再现性干系的特有挑战。

咱们还需要意志到，许多归因于 LLM 的上风在其他模子中也存在。举例，BERT 或开源的 LLM 不错通过 API 探问，为无法自我托管这些时期的谋划东谈主员提供了一个方便且低老本的摄取。这使得它们在无需普遍编码或时期专科常识的情况下也能被庸碌使用。此外，OpenAI 还提供了镶嵌模子，如" text-embedding-ada-3 "，不错像 BERT 雷同用于卑劣任务。

归根结底，任何操办器具的负职守使用齐需要咱们全面意会其才智，并正式接头该器具是否为面前任务最安妥的方法。这种均衡的作念法大要确保时期逾越在谋划中得到灵验和负职守的诈欺。

参考文件

[ 1 ]          SINGHAL K, AZIZI S, TU T, et al. Large language models encode clinical knowledge [ J ] . Nature, 2023, 620 ( 7972 ) : 172-80.

[ 2 ]          MOTOKI F, PINHO NETO V, RODRIGUES V. More human than human: measuring ChatGPT political bias [ J ] . Public Choice, 2024, 198 ( 1 ) : 3-23.

[ 3 ]          WEBB T, HOLYOAK K J, LU H. Emergent analogical reasoning in large language models [ J ] . Nat Hum Behav, 2023, 7 ( 9 ) : 1526-41.

[ 4 ]          DILLION D, TANDON N, GU Y, et al. Can AI language models replace human participants? [ J ] . Trends Cogn Sci, 2023, 27 ( 7 ) : 597-600.

[ 5 ]          KOCO Ń J, CICHECKI I, KASZYCA O, et al. ChatGPT: Jack of all trades, master of none [ J ] . Information Fusion, 2023, 99: 101861.

[ 6 ]          RATHJE S开云kaiyun体育, MIREA D-M, SUCHOLUTSKY I, et al. GPT is an effective tool for multilingual psychological text analysis [ Z ] . PsyArXiv. 2023.10.31234/osf.io/sekf5