tqcq/llama.cpp
0
0
Fork 0
mirror of https://github.com/ggml-org/llama.cpp.git synced 2025-07-23 03:08:08 +00:00
Code Issues Packages Projects Releases Wiki Activity
Files
b2868
llama.cpp/ggml-cuda
History
Johannes Gäßler dc685be466 CUDA: add FP32 FlashAttention vector kernel (#7188) 
* CUDA: add FP32 FlashAttention vector kernel

* fixup! CUDA: add FP32 FlashAttention vector kernel

* fixup! fixup! CUDA: add FP32 FlashAttention vector kernel

* fixup! fixup! fixup! CUDA: add FP32 FlashAttention vector kernel
2024-05-12 19:40:45 +02:00
..
acc.cu
…
acc.cuh
…
arange.cu
…
arange.cuh
…
argsort.cu
…
argsort.cuh
…
binbcast.cu
…
binbcast.cuh
…
clamp.cu
…
clamp.cuh
…
common.cuh
CUDA: add FP32 FlashAttention vector kernel (#7188)
2024-05-12 19:40:45 +02:00
concat.cu
…
concat.cuh
…
convert.cu
…
convert.cuh
…
cpy.cu
…
cpy.cuh
…
dequantize.cuh
…
diagmask.cu
…
diagmask.cuh
…
dmmv.cu
…
dmmv.cuh
…
fattn-common.cuh
CUDA: add FP32 FlashAttention vector kernel (#7188)
2024-05-12 19:40:45 +02:00
fattn-vec-f16.cu
CUDA: add FP32 FlashAttention vector kernel (#7188)
2024-05-12 19:40:45 +02:00
fattn-vec-f16.cuh
CUDA: add FP32 FlashAttention vector kernel (#7188)
2024-05-12 19:40:45 +02:00
fattn-vec-f32.cu
CUDA: add FP32 FlashAttention vector kernel (#7188)
2024-05-12 19:40:45 +02:00
fattn-vec-f32.cuh
CUDA: add FP32 FlashAttention vector kernel (#7188)
2024-05-12 19:40:45 +02:00
fattn.cu
CUDA: add FP32 FlashAttention vector kernel (#7188)
2024-05-12 19:40:45 +02:00
fattn.cuh
…
getrows.cu
…
getrows.cuh
…
im2col.cu
…
im2col.cuh
…
mmq.cu
…
mmq.cuh
…
mmvq.cu
…
mmvq.cuh
…
norm.cu
…
norm.cuh
…
pad.cu
…
pad.cuh
…
pool2d.cu
…
pool2d.cuh
…
quantize.cu
…
quantize.cuh
…
rope.cu
…
rope.cuh
…
scale.cu
…
scale.cuh
…
softmax.cu
…
softmax.cuh
…
sumrows.cu
…
sumrows.cuh
…
tsembd.cu
…
tsembd.cuh
…
unary.cu
…
unary.cuh
…
upscale.cu
…
upscale.cuh
…
vecdotq.cuh
…