跳转至

Welcome to HuangFuSL's blog

Table of contents

Blog timeline

Jupyter

2024-12-16

Rust的evcxr_jupyter包提供了对jupyter notebook的支持，可以在notebook中运行Rust代码。使用如下命令安装：

高斯过程

2024-12-16

高斯过程（Gaussian Process，GP）是将多变量高斯分布推广到无限维度\(\mathcal X\subseteq \mathbb R^n\)的概率分布。具体地，对于\(X = \{x_1, \ldots, x_n\}\subseteq \mathcal X\)，随机变量\(f(x_1), \ldots, f(x_n)\)服从多元高斯分布\(\mathcal N(\mu(X), \Sigma(X))\)。其中，\(\mu(X)\)为均值函数，\(\Sigma(X)\)为协方差函数。因此，高斯分布研究的是函数的概率分布。

算法

2024-12-09

贝叶斯优化是一类可以用于优化黑盒函数的优化方法。对于黑盒函数来说，我们无法得知其显式的表达式，只能通过输入一个数据，观测其输出的方法寻找它的最大值。借助于贝叶斯统计的思想，贝叶斯优化最初认为函数是一个完全随机的函数，可以通过不断地观测来更新对函数的估计（后验）。在每一步迭代中，算法会根据当前的后验，通过采集函数来选择下一个观测的点。贝叶斯优化的优点是可以在较少的迭代次数内找到全局最优解，因此在实际应用中被广泛使用。

强化学习

2024-12-04

记录强化学习的学习过程。

多臂老虎机

2024-12-04

多臂老虎机（Multi-armed bandit）问题来自于现实中的老虎机问题。每台老虎机都有一个拉杆，拉动拉杆后，老虎机会随机给出一个奖励。玩家的任务是在有限的尝试次数内尽可能获得更多的奖励。

置信上界算法

2024-12-04

置信上界（Upper Confidence Bound, UCB）算法的核心思想是将尝试次数纳入考虑，尝试次数较少的动作有更大的不确定性，算法会尽可能乐观地考虑这些没有尝试过的动作，并优先探索这些动作。在每个动作探索比较深入后，再转向利用奖励较高的动作。

模型推理

2024-11-25

在推理阶段，大模型根据输入的文本序列，不断预测输入文本的下一个词，直到预测出结束符号为止。不过，在预训练阶段中，不包含对bos（begin of sentence）和eos（end of sentence）的预测。所以，如果使用基座模型，模型会不断输出token。

实现Llama-2

2024-09-07

在本节中，我们实现一个Llama-2模型。

归一化

2024-09-07

归一化是指将数据按照比例缩放，改变其分布。按照归一化的维度不同，可以分为以下几种：

位置编码

2024-09-07

Attention机制虽然能捕捉序列中不同位置的依赖关系，但是无法区分不同位置的元素。为了解决这个问题，Transformer模型引入了位置编码（Positional Encoding）。

Recent updates

Currently working on

Customization

Click on the buttons to change the primary color.

Click on the buttons to change the accent color.

However, if you try to switch from dark mode to light mode or reversed, changes to the primary color and accent color will lose.

Building documentation

Run git clone https://github.com/HuangFuSL/HuangFuSL.github.io.git to get the source code.

Bootstrap icon installation

The site uses bootstrap icons, which are added as submodules in third_party/icons. You have to manually initialize the submodule.

git submodule update --recursive --remote

LaTeX support

The site uses xelatex and dvisvgm to render tex document to SVG images embedded in the markdown files. However, as the SVG images are ignored by .gitignore, you have to manually perform the conversion.

For GitHub repository clones:

  • Run git submodule update --recursive --remote to receive the template.
  • Make sure you have installed and correctly configured xelatex and dvisvgm.
  • Add ./template directory to $TEXINPUTS environmental variable.
  • Execute ci/convert.py in the root directory of the repository.
  • Run mkdocs serve to view the images.

The template is located at HuangFuSL/latex-template

GitHub workflow

You need to install the dependencies stored in requirements.txt before you can start building the site:

pip install -r requirements.txt

There are cross-links in the site which require metadata defined in the page, so the project should be built before mkdocs serve is executed. The exported metadata is saved in meta.json after a build is successfully executed. To build the site, execute the following command:

mkdocs build -d build

Execute mkdocs serve, the built site will appear at http://127.0.0.1:8000

Acknowledgements

The blog relies on the following open-source projects:

The blog uses the following mkdocs plugins to function correctly.

Unless noted, content in this blog are shared under CC-BY-NC-SA 4.0 license.

Version information

commit 3634d38c7e95f633ed80e816b6dbfa4e3edce5ac
Merge: 4b7d0e34 98aca170
Author: github-actions[bot] <41898282+github-actions[bot]@users.noreply.github.com>
Date:   Mon Dec 16 20:57:31 2024 +0800

    Merge pull request #422 from HuangFuSL/rust-jupyter

    Update: Rust Jupyter

评论