Google新发了一个实验线的模型：VaultGemma
这个模型通过应用差分隐私构建了一个注重隐私保护的大语言模型，尽量保证使用模型时不会暴露出训练数据中的私人信息。
研究人员发现并量化了模型大小、训练数据批次大小和隐私保护强度（噪声量）之间的关系。从而指导模型训练者如何找到最佳的平衡点，在实现强大隐私保护的同时，最大限度地保留模型的性能。
当然现在还只是实验性质的，现在只是一个1B的小模型，性能还不如GPT-2
AI生活指南AI创造营
Google新发了一个实验线的模型：VaultGemma
这个模型通过应用差分隐私构建了一个注重隐私保护的大语言模型，尽量保证使用模型时不会暴露出训练数据中的私人信息。
研究人员发现并量化了模型大小、训练数据批次大小和隐私保护强度（噪声量）之间的关系。从而指导模型训练者如何找到最佳的平衡点，在实现强大隐私保护的同时，最大限度地保留模型的性能。
当然现在还只是实验性质的，现在只是一个1B的小模型，性能还不如GPT-2
AI生活指南AI创造营
