【新智元导读】终有一天，LLM能成为人类数据专家，针对不相同的领域进行数据分析，大大解放AI研究员。

  传统上，数据科学家会求助于专家，利用他们的专业相关知识来填补空白，然而这一过程既耗时，却又不实用。

  近日，来自德国人工智能中心、大阪公立大学等团队的研究人员，调查了LLM能否足以充当数字专家。

  毕竟，当前大模型都在大量文本的基础上进行了训练，可能对医学数据、社会科学等不同主题的问题有着深刻的理解。

  研究人员通过将LLM的答案与实际数据来进行比较，并建立了处理数据差距的统计方法。

  结果表明，在许多情况下，LLM可以在不依赖人类专家的情况下，提供与传统方法类似的准确估计。

  在分析数据时，无论是医学、经济学还是环境研究，经常会遇到信息不完整的问题。

  这就需要用到两种关键技术：先验启发（确定先验知识）和数据插补（补充缺失数据）。

  科学家们不会因为一些缺失而放弃有价值的数据集，而是使用统计方法用看似合理的值来填补。

  这种多样性确保了实验涵盖了广泛的现实世界场景，并为LLM在不同环境下的性能提供了相关见解。

  值得一提的是，最新方法中最关键的一个步骤便是——人为在数据集中生成缺失值，以模拟数据点不完整的情况。

  研究人员用随机缺失（MAR）模式从完整条目中生成这种缺失数据，以便与基本事实作比较。

  他们首先从OpenML描述中，为每个数据集生成一个适当的专家角色，然后使用它来初始化LLM，以便可以查询它是否缺少值。

  将这些模型与这类分析中常用的3种经验办法来进行了比较：分别用于连续特征和分类特征的平均值和模式估算、k-近邻（k-NN）估算和随机森林估算。

  归因质量的评估基于，连续特征和分类特征的归一化均方根误差（NRMSE）和F1分数。

  通过这一方法，能够让研究人能调查LLM作为数据推算专家的能力，而且还可以将其表现与传统办法来进行比较。

  这种创新的方法在处理不完整的数据集方面开辟了新的视角，并突出了LLM在数据科学中的潜力。

  然而，基于LLM的插补对某些数据集是有用的，特别是在工程和计算机视觉领域。

  一些数据集，如这些领域的「PC1」、「PC3」和「Satimage」，表现出NRMSE约为0.1的归因质量，在生物学和NLP领域也观察到了类似的结果。

  虽然社会科学和心理学等领域表现较差，但医学、经济学、商业和生物学表现较好。有必要注意一下的是，基于LLM的插补在商业领域表现最好。

  此外，研究还表明，至少在某些领域，LLM可以基于其丰富的训练数据提供准确和相关的估计，这一些数据可以与真实世界的数据相匹配。

  此外，研究人员还利用LLM研究了先验启发，旨在评估LLM能否提供有关特征分布的信息，以及这对数据收集和后续数据分析有何影响。

  特别是，进一步了解LLM所获得的先验分布的影响和有效性，并比较它们与传统方法和模型的性能如何。

  在该实验中，6位心理学研究人员被问及各自领域中典型的中小效应量和皮尔逊相关性。

  使用类似的问题，要求LLM模拟一个专家、一组专家或一个非专家，然后查询优先级分布。

  这里研究人员提出一种全新的提示策略，要求模型为贝叶斯数据分析提供专家知情的先验分布。

  在此过程中，ChatGPT 3.5展示了其对学术启发框架的熟悉程度，比如谢菲尔德启发框架与直方图方法相结合。

  研究人员使用该框架生成了全球25个大小城市12月份典型日气温和降水量的先验分布。

  ChatGPT使用从训练数据中获得的知识进行模拟专家讨论，并构建参数概率分布。

  大多数人工专家都倾向于谨慎预测，认为影响较小。只有GPT-4专家比较大胆，认为影响中等偏大。

  当涉及到两个事物之间的关系时，比如天气对我们购物行为的影响，数字助理们与真人的观点有所不同。

  有些数字助理呈现出一条中间低、边缘高的「浴缸」曲线则向我们展示了一条更平滑的钟形曲线。

  然后，作者还观察了这些数字专家对他们的预测的信心。一些人相当谨慎，提供了保守的估计，除了Mistral 7B Instruct——对其估计的质量非常有信心。

  综上所述，这些结果还表明，LLM在某些方面能够产生与人类专家判断竞争的先验，但在别的方面却显著不同。

  这项研究表明，在医学、经济和生物等领域，LLM已能基于传统的数据插补的方法，提供有价值的见解。

  LLM能够综合来自各种来源的知识，并将其应用于特定的应用环境，为数据分析开辟了新的视野。