超腾开源博客 - 第12页 | 了解网站最新动态,分享最新技术

Abliteration技术是一种创新的方法,能够在无需重新训练的情况下解除大语言模型的安全审查机制。该技术通过识别并移除模型残差流中的拒绝方向,使模型能够响应各类提示。文档详细阐述了数据收集、平均差异计算、推理时干预和权重正交化等关键技术步骤,并提供了Llama3.2、DeepSeek-R1、Qwen3等主流模型的实践案例。同时介绍了DPO微调方法来解决性能下降问题,确保模型在解除审查后仍保持高质量输出。本文为研究人员和开发者提供了完整的技术参考和实施指南。
1171
0
创建于2025年5月8日
本文介绍了使用Ollama实现工具调用的原理,并以qwen3模型为例,用Python进行了最简单的实现演示。文章首先说明了如何安装Ollama并启动qwen3模型,然后详细展示了工具调用的完整流程:发送包含工具定义的对话请求、模型返回tool_calls要求调用工具、将工具返回结果与聊天历史再次发送给模型,最终获得自然语言回答。通过一个查询北京天气的实例,Python源码清晰展示了两次API调用的交互过程,帮助读者理解MCP工具调用的基本原理。
548
0
创建于2025年5月4日
在Windows上使用PyTorch训练模型时,任务管理器显示的GPU占用率较低是正常现象,因为PyTorch主要使用CUDA核心,而未调用3D、视频解码等功能。建议使用nvidia-smi dmon命令查看真实的GPU利用率,重点观察sm(流处理器利用率)和mem(显存带宽利用率)两项指标。若GPU占用率确实偏低,可通过在DataLoader中设置num_workers和pin_memory参数来提升。注意Windows下需将训练函数放在if __name__ == "__main__"中,且num_workers不宜过大,建议从2开始逐步增加,确保nvidia-smi中GPU利用率达到90%以上,同时调整batch_size使显存占用率也在90%左右。
281
0
创建于2025年5月2日
XMind是一款功能全面的思维导图软件,最新版本限制了只能创建3个画布,而提供无限画布功能的最后一个版本是2024年6月发布的24.04.10311。用户可通过下载该历史版本,登录后在首选项中关闭自动更新来保持无限画布功能。文章还列出了几个历史版本,如23.11.04336和24.04.10291,均不限制画布数量,而24.09.13001及之后版本则受限。
478
0
创建于2025年4月26日
本文介绍了在麒麟V10 ARM服务器上通过源码编译安装PostgreSQL 16.6的完整步骤。麒麟V10是基于国产Linux的操作系统,专为飞腾、鲲鹏等ARM芯片优化,而PostgreSQL是功能强大的开源数据库。由于系统包管理器缺少PostgreSQL安装包,需手动编译。步骤包括:查看系统版本、下载解压源码、安装依赖、编译安装、配置环境变量、创建用户和数据目录、初始化数据库、配置监听地址与远程访问、启动数据库并验证端口。整个过程适用于信创环境下的数据库部署需求。
534
0
创建于2025年1月7日