知乎直答是知乎推出的一款使用 AI 大模型等先进技术的产品，以知乎社区的优质内容为核心，多种数据源为辅助，为人们提供一种全新的获取可靠信息的途径。知乎直答是多智能体系统，能够满足用户多维度的需求；同时对生成结果进行溯源，以确保内容的可信、可控以及对知识产权和版权的尊重。知乎直答致力于为用户提供卓越的使用体验，用技术拉近创作者和用户之间的距离。

该工具旨在通过对最新专有和开源MLLMs进行定性研究，从文本、代码、图像和视频四个模态的角度，评估其泛化能力、可信度和因果推理能力，以提高MLLMs的透明度。我们相信这些属性是定义MLLMs可靠性的几个代表性因素，支持各种下游应用。具体而言，我们评估了闭源的GPT-4和Gemini以及6个开源LLMs和MLLMs。总体上，我们评估了230个手动设计的案例，定性结果总结为12个分数（即4个模态乘以3个属性）。总共，我们揭示了14个实证发现，有助于了解专有和开源MLLMs的能力和局限性，以更可靠地支持多模态下游应用。