武丢丢

本周工作总结 这周投递了一部分企业，淘天集团，腾讯，感觉实习找到的可能越来越低了呢 这周做了AI+电气设计的PPT，做了两天，感觉纯粹在画大饼。里面涉及的技术有知识图谱，RAG，大模型微调，向量数据库，多模态，规则引擎，Agent，每个拿出来都够我写一篇博客了吧，我纯粹利用AI将这些东西总结出来弄在PPT上，显得我很懂的样子。 RAG和langchain又重...

为什么会有MLP？ transformer架构中，最主要的两个模块就是Attention-Layer和MLP-Layer。MLP全称为多层感知机，是神经网络的最主要的组成部分。其结构十分简单，主要由两层线性变换层和一个激活函数构成，其公式如下： 在神经网络中，上述公式是构成整个模型基础，一个线性变换层则包括了上面的权重和偏置，通过引入激活函数来引入非线性，从...

RAG学习 数据加载 我们需要利用给定的数据形成知识库，数据的类型多种多样，langchain提供了很多工具来帮助我们加载和处理数据。比如加载PDF文档。 从某一个目录下加载所有PDF文档 1 2 3 4 5 6 from langchain community.document loaders import PyPDFDirectoryLoader DAT...

本周工作完成情况 重启了我的博客，学习了如何在博客中插入图片，插入公式。熟悉了hexo这个开源博客框架的一些功能，比如更换主题，改变设置等等。 西容的电容器项目告一段落，本来就不是我感兴趣的内容，和我学习的内容可以说没有丝毫的联系，对我找工作或者找实习或者写毕业论文也没有任何帮助。 组里的服务器差不多可以被大家正常使用，重装系统这个过程学习到了很多关于Lin...

Normalization Transformer学习笔记三：为什么Transformer要用LayerNorm/Batch Normalization & Layer Normalization （批量&层标准化) 深入理解Batch Normalization原理与作用 Normalization又称为标准化或者规范化，是在深度学习中经常使用的一种算法。...

Transformer之位置编码 为什么需要位置编码 注意力计算公式如下图所示： {% asset img lkadxjcljebp 01.png '"""注意力计算公式"' %} 其中q和k分别为query和key，代表token的语义信息。如果没有位置编码，那么q和k的计算结果是不受二者之间相对距离大小的影响的。也就是说，如果没有位置编码，那么trans...

Linux安装comsol 在linux系统中安装comsol和在win中有所不同，接下来从下载压缩包，解压，创建文件夹，挂载，安装等步骤讲解如何在linux系统中安装一个comsol。 下载iso文件 首先到IT技术之家下载comsol的iso文件，版本是comsol6.3。 下载地址 下载好后需要上传到远程linux服务器，可以使用xftp或者ssh，如...

网站问题 hexo command can not found hexo包没有安装或者意外被卸载，按照以下步骤即可重新安装： npm uninstall -g hexo-cli npm install -g hexo-cli hexo -v ssh 连接远程主机 ssh -p 22 root@host 其中-p后面是端口号，root是远程主机上的用户名，ho...

环境配置记录 本地配置方法：去 pytorch官网 找到要下载的历代版本，比如本次配置版本为 conda install pytorch==2.2.0 torchvision==0.17.0 torchaudio==2.2.0 pytorch-cuda=11.8 -c pytorch -c nvidia 直接使用这个命令即可下载pytoch相关包以及cuda...

步骤： 1.github创建一个与工程名同名的仓库，不要勾选任何可选项 2.进入工程名目录 3.右键打开git bash 4.运行以下代码： git init touch README.md git add README.md git commit -m "first commit" git branch -M main git remote add ori...