Seclusion

FlashAttention：从 1 到 3

发表于 2024-05-30 本文字数： 8.9k 阅读时长 ≈ 8 分钟

本文将首先从公式出发，讲解 3-pass safe softmax、 2-pass online softmax 以及 1-pass FlashAttention 的原理。然后结合论文介绍 FlashAttention 1/2/3。

发表于 2024-02-02 本文字数： 1.1k 阅读时长 ≈ 1 分钟

stream-k 抛弃了 slice-k 和 split-k 以任务为中心的划分逻辑，而是变成了以计算资源为核心的分配任务方式，使得每个 SM 的任务量基本相当。

发表于 2023-02-23 本文字数： 12k 阅读时长 ≈ 11 分钟

这次来学习一下更一般性的 FFT 分解

发表于 2023-02-19 本文字数： 14k 阅读时长 ≈ 13 分钟

初探 FFT—— 从多项式乘法开始

发表于 2020-11-27 本文字数： 104k 阅读时长 ≈ 1:35

C++OOP

发表于 2020-07-07 本文字数： 1.8k 阅读时长 ≈ 2 分钟

现在让我们来计算 $a^b\%c$

发表于 2020-01-09 分类于数学建模本文字数： 7k 阅读时长 ≈ 6 分钟

笔记来自于《MATLAB2018 从入门到精通》

发表于 2019-09-27 本文字数： 232 阅读时长 ≈ 1 分钟

可能有人会觉得自带的#标签比较丑，那么可以考虑更改 themes\next\layout\_macro\post.swig 来更换一个图标

发表于 2019-08-25 本文字数： 2.1k 阅读时长 ≈ 2 分钟

有这样一个问题：如何从一个无序的数组里求出第 $K$ 大的数（为了简化讨论，假设数组中的数各不相同），例如，对数组 $\{ 5, 12, 7, 2, 9, 3\}$ 来说，第三大的数是 5，第五大的数是 9。

发表于 2019-07-06 本文字数： 7.2k 阅读时长 ≈ 7 分钟

交换排序（冒泡排序，快速排序），插入排序（直接插入排序，希尔排序），选择排序（简单选择排序，堆排序），归并排序，基数排序