相关文章
大语言模型 LLM 量化技术略解
什么是量化?
随着语言模型规模的不断增大,其训练的难度和成本已成为共识。而随着用户数量的增加,模型推理的成本也在不断攀升,甚至可能成为限制模型部署的首要因素。因此,我们需要对模型进行压缩以加速推理过程,而模型量化是其中一种有效的方法。
大语言模型的参数通常…
建站知识
2025/1/14 4:06:44
AI学习记录 - L2正则化详细解释(权重衰减)
大白话:
在反向传播时,加入额外的损失值,让总损失值变得比原来更大,并且加入的损失值要关联到神经网络全部权重的大小,当出现权重的平方变大的时候,也就是网络权重往更加负或者更加正的方向走的时候&#…
建站知识
2024/10/8 3:44:39
系统架构设计师-论文题(2021年下半年)
1.试题一
论面向方面的编程技术及其应用针对应用开发所面临的规模不断扩大、复杂度不断提升的问题,面向方面的编程Aspect Oriented Programming,AOP技术提供了一种有效的程序开发方法。为了理解和完成一个复杂的程序,通常要把程序进行功能划分和封装。一…
建站知识
2024/10/8 3:39:30
Anaconda的安装与环境设置
文章目录 一、Anaconda介绍二、Anaconda环境搭建1. 下载Anaconda(1)官网下载(2)清华大学镜像 2. 安装Anaconda3.配置环境变量4.检验conda是否安装成功5.更改镜像源6.若菜单栏没有conda prompt 三、虚拟环境1.创建、查看、删除虚拟环境2.激活、退出虚拟环境 四、CUDA、Pytorch、…
建站知识
2024/10/8 3:37:26
Kubernetes: kube-proxy 和 CNI 是如何协作的?
在 Kubernetes 中,kube-proxy 和 CNI 插件协同工作,确保集群内 Pod 之间的互联互通。
Kube-proxy & CNI 如上图所示,假设我们有一个类型为 ClusterIP 的 Service,它对应两个位于不同节点的 Pod。
当我们从 Pod A 对该 Servi…
建站知识
2024/10/8 3:36:23
Word办公自动化的一些方法
1.Word部分内容介绍
word本身是带有格式的一种文档,有人说它本质是XML,所以一定要充分利用标记了【样式】的特性来迅速调整【格式】,从而专心编辑文档内容本身。 样式(集) 编号(多级关联样式编号ÿ…
建站知识
2024/10/8 3:35:21
数据结构之——树形结构
一、树形结构概述 树形结构是一种非线性数据结构,在计算机科学领域有着广泛的应用。它呈现出层次嵌套的特点,就像一棵倒挂的树,根朝上,叶子朝下。 在树形结构中,节点之间存在着 “一对多” 的关系。一个节点可以拥有多…
建站知识
2024/10/8 3:33:19