柏拉图表征假说(Platonic Representation Hypothesis)- 概要分析_百度...
发布网友
发布时间：2024-10-09 04:04
共1个回答
热心网友
时间：2024-11-16 18:33
世界可以用多种方式理解，例如图像或文本。在每种模态上学习的表征将收敛到世界类似的表征。
这一假说与柏拉图的洞穴寓言相联系，其中真实世界被视为理想的形式，而我们通过感官体验到的是这些理想形式的影子或映射。
表征趋同现象表明，不论模型的架构、训练目标或数据类型如何，其内部表示数据的方式正变得越来越相似。跨模态的趋同不仅存在于相同类型的模型之间，也出现在不同数据模态（如视觉和语言）的模型上。
随着时间推移，不同神经网络在表示数据时的方式变得越来越一致。随着模型尺寸的增加，视觉模型和语言模型以越来越相似的方式测量数据点之间的距离。
强者大多相似，弱者各有不同。在解决更多任务的模型之间，表征趋向于更加一致。随着模型变得更大，它们在训练中收敛到相似的解决方案。
能力假设指出，较大的模型比较小的模型更有可能收敛到共享表示。在相同的学习目标下，即使架构不同，较大模型也会趋向于收敛到最优解。多任务尺度假设表明，能够处理更多任务的模型包含更少的可能解决方案。简单性偏见假设指出，深度网络倾向于寻找数据的简单拟合，随着模型变大，收敛到的解空间变得更小。
理想现实存在，所有的表征最终趋向于这个统计模型，它以统计方式捕捉生成观察数据的现实世界事件的联合分布。这种表示可能相对简单，符合简单性偏见假设，与多任务缩放假设一致，对许多任务都有用。
点互信息PMI用于衡量两个事物之间的相关性。我们根据内核对表示进行表征，即它们如何测量输入之间的距离/相似性。如果两个表示的核对于对应的输入是相同的，则认为它们是相同的。然后，这些表示被认为是齐平的。
论文中的数学论证仅适用于Z的双射投影，这意味着所有投影中的信息等同于底层世界的信息。这不适用于有损或随机的观测函数。目前，并非所有表征都在汇聚，不同模态可能包含不同的信息，且可能包含独特信息无法完全通过另一种模态表达。
AI模型的发展受到研究者偏见和AI社区集体偏好的影响，可能导致模型倾向于模仿人类推理和表现。特定用途智能可能不会汇聚，不同智能系统被设计来完成不同任务，这些任务之间可能没有太多共同点。如何测量齐平需要进一步解释，尽管不同模型的表示趋于相似，但并非完全相同。连续性和非有界世界假设的理想化模型在现实世界中可能需要处理连续的和非有界的观测。
