python知识__init__.py的作用
该文件的存在最基本的作用是将当前目录标记为包，这样python解释器就知道这个目录及目录包含的文件应该被视为包
初始化包：当该包被导入的时候，会首先执行__init__.py，这样我们可以在其中写一些代码来做初始化
控制包的导入：一个包内部会有很多子模块，通过在__init__.py中导入子模块，我们可以控制from packege import *运行时，哪些模块会被导入。
包的命名空间管理：通过在__init__.py导入子模块，可以提供给外部一个精心设计的接口，比如在如下结构中:
12345my_package/│├── __init__. ...
本周工作总结
设计院的PPT终于讲了，讲完之后还是觉得太学术了，甲方要求我们写的再细节一点，具体用什么模型，用什么技术，要写清楚
中兴的那个比赛成功提交了代码，应该是可以免笔试了，A榜大概1.31分，B榜5.5截止，在截止之前我觉得我还可以再试试提高
读博的事情终于有了定论，虽然我犹豫了很多次，但还是拒绝了。因为无论哪个师兄都不建议我读博。虽然我目前觉得陈老师各方面对我都很好，但是谁知道蜜月期过后，我会不会和戴师兄一样呢？和他相处最久的孟师兄，嘴里对他没有一句好话，凭什么我会认为他对我就不一样呢？他说的那些：“咱还是要干一些大事，钱不是问题”“我有清华的同学派一个团队来支持你”，这些太空的话我 ...
本周工作总结
这周又改了一下电气设计院的那个PPT，终于算是改完了，下午要去讲，这项目不知道能不能接到，感觉有点悬。
今天周一上午面试了腾讯的大模型应用研究，感觉有点悬，kaggle的那个比赛我确实有点水，但比赛已经结束了，在纠结要不要在本地继续完善呢还是直接别写了，但我的项目确实不多啊
这周开始做灵神题单，滑动窗口的题，感觉掌握了一些滑动窗口的技巧
还投递了一些西安的小企业，如果有机会的话也可以去，毕竟算是实习的经历。
下周工作展望
我想找AI给我的项目提出一些继续改进的项目，让其更有吸引力。比如RAG项目，SFT项目
继续刷灵神题单。不想刷hot100了，因为感觉我的数据结构知识不够系统 ...
面试复盘在这里总结一下面试的流程和自己的问题。
腾讯NLP-大模型算法实习生
自我介绍
1分钟自我介绍简短即可
简单介绍一下项目
感觉介绍的不好，面试官也没怎么听
拷问我的Kaggle竞赛的项目，多少名，leadboard是前%多少，public scores是多少，测试集和训练集分别是什么？你在项目中做了什么？你训练模型的baseline是什么？你用这些模型要达到什么目的？
这个答得很一般，甚至可以说很差，因为我的AIMO确实几乎可以说是没有成绩，就提交了几次，当时是奔着丰富建立取得
拷问RAG项目，项目的目的，项目的任务，项目学到了什么。介绍一下chroma，介绍一下RAG流程 ...
利用AI进行模拟面试将简历发给AI，让AI针对简历和要面试的岗位，提出一些问题，并给出AI的回答，参考AI的回答进行梳理，最终给出自己的回答。
个人科研助手项目RAG的工作流程
文档预处理
文档导入，使用langchain的document_loader方法，导入md文件，PPT文件，PDF文件，word等非结构化文本
文档切块，多少个字符算一个块，块与块之间重合的字符数是多少
使用Embedding模型将chunk向量化，存储入库
检索召回：用户的query作为查询向量，计算查询向量与库中向量的相似度。这里就有一个问题，查询的时候是直接遍历所有文本向量与查询向量的相似度吗？不是的，这样复 ...
本周工作总结
这周投递了一部分企业，淘天集团，腾讯，感觉实习找到的可能越来越低了呢
这周做了AI+电气设计的PPT，做了两天，感觉纯粹在画大饼。里面涉及的技术有知识图谱，RAG，大模型微调，向量数据库，多模态，规则引擎，Agent，每个拿出来都够我写一篇博客了吧，我纯粹利用AI将这些东西总结出来弄在PPT上，显得我很懂的样子。
RAG和langchain又重新学习了一下，但也是很浅薄的那种，因为RAG做一个很容易，但做好一个很难。
博客的背景无法自适应的问题得到了修改，同时链接无法展示的问题也得到了修改。算是学到了一点点点点的html语言的皮毛吧。
下周工作展望
我决定好好学习一下算法与数据 ...
MathJax = {
tex: {
inlineMath: [['$', '$'], ['\\(', '\\)']],
processEscapes: true,
}
};
为什么会有MLP？transformer架构中，最主要的两个模块就是Attention-Layer和MLP-Layer。MLP全称为多层感知机，是神经网络的最主要的组成部分。其结构十分简单，主要由两层线性变换层和一个激活函数构成，其公式如下：
$$MLP = \sigma(X \cdot W_1 + b_1) \cdot W_2 + b_2 \tag{1.1}$$
在神经网络中， ...
RAG学习数据加载我们需要利用给定的数据形成知识库，数据的类型多种多样，langchain提供了很多工具来帮助我们加载和处理数据。比如加载PDF文档。
从某一个目录下加载所有PDF文档123456from langchain_community.document_loaders import PyPDFDirectoryLoaderDATA_PATH = "data"document_loader = PyPDFDirectoryLoader(DATA_PATH)document = document_loader.load()
上面返回的document是一个列表，其中的 ...
本周工作完成情况
重启了我的博客，学习了如何在博客中插入图片，插入公式。熟悉了hexo这个开源博客框架的一些功能，比如更换主题，改变设置等等。
西容的电容器项目告一段落，本来就不是我感兴趣的内容，和我学习的内容可以说没有丝毫的联系，对我找工作或者找实习或者写毕业论文也没有任何帮助。
组里的服务器差不多可以被大家正常使用，重装系统这个过程学习到了很多关于Linux系统的知识，对linux系统的使用有了更深的了解
transformer的总结也开始了，目前更新了两个部分，位置编码和normalization，还打算更新两个部分，MLP和Attention层
下周的工作展望
重启RAG和Agent ...
MathJax = {
tex: {
inlineMath: [['$', '$'], ['\\(', '\\)']],
processEscapes: true,
}
};
NormalizationTransformer学习笔记三：为什么Transformer要用LayerNorm/Batch Normalization & Layer Normalization （批量&层标准化)
深入理解Batch Normalization原理与作用
Normalization又称为标准化或者规范化，是在深度学习中经常使用的一种算法。其核心思 ...