fused-kernel

AMD RAD's multi-GPU Triton-based framework for seamless multi-GPU programming

Implementation of FusedMM method for IPDPS 2021 paper titled "FusedMM: A Unified SDDMM-SpMM Kernel for Graph Embedding and Graph Neural Networks"

Custom CUDA & Triton fused layers for self-stabilizing transformer architectures. Accelerate forward/backward passes and prevent gradient explosions in large-scale LLM training.

Contents for my Masters thesis "Optimized Block-Level Matrix Inversion Kernels for Small, Batched Matrices on GPUs"

Микроядро локального векторного инференса на Edge-устройствах без контейнерного оверхеда. Высокопроизводительная альтернатива тяжелым ИИ-контейнерам на базе NumPy + Numba JIT (LLVM SIMD float32). Поддерживает паттерн fused single-pass, режим nogil=True для параллельной утилизации ЦП и IPC через np.memmap. Скорость косинусного выравнивания: 18.2 мкс