VPresentation ↗
正面向きの立ち絵1枚から、PDFのスライドを1ページずつ読み上げるプレゼンターを生成します。Talking Head Anime 4 を Rust + candle に移植(CUDA / Metal / CPU を同一コードベースで)、リアルタイム経路にはキャラごとの蒸留studentモデルを使います。
「間に合わせる」ことが要求される層を担当しています。CUDA / WebGPU のカーネル、プロセス単位の音声キャプチャ、リアルタイム音声変換、アバターの描画、そしてそれを画面に出す WebRTC の経路まで。その上に乗るプロダクトも、同じ手でつくります。
エンジニアリングは m96-chan(原田侑亮)。有限会社DEVenus(東京・新宿)代表取締役です。法人契約・請求は会社として対応し、単発の技術相談は個人として気軽にお受けしています。
立ち絵1枚を入れると、しゃべって、呼吸して、まばたきするプレゼンターが出てくる。全部ローカルで動いて、そのままOBSに流せます。
世に出ている「AI VTuber」のデモの多くは、クラウドAPIに顔をつけたものです。これは目の前のマシンだけで動きます。モデルの移植から仮想マイク、配信の載せ替えまで、全レイヤーを自分で持っているからです。
正面向きの立ち絵1枚から、PDFのスライドを1ページずつ読み上げるプレゼンターを生成します。Talking Head Anime 4 を Rust + candle に移植(CUDA / Metal / CPU を同一コードベースで)、リアルタイム経路にはキャラごとの蒸留studentモデルを使います。
Pure Rust のリアルタイムゼロショット音声変換。数秒の参照音声を渡すだけで、仮想マイクがキャラクターの声を Discord / Zoom / OBS に届けます。5つのエンジンを1つのインターフェースの裏に置き、実行時にPythonもCUDA Toolkitも要りません。
OBS Studio に汎用のWebRTC入出力を足すC++プラグイン。低レイテンシの双方向の映像・音声を、シーングラフに直接出し入れできます。特定アプリの音だけを拾いたいときは ProcTap と組み合わせます。
正直な現状:ブラウザアプリは今日の時点で「動いて・しゃべって・資料を読む」ところまで来ていて、キャラクターは3体分の蒸留が済んでいます。スライドのトランジションとマイク入力によるリップシンクはまだ実装中で、それも公開したまま進めています。
この形のシステム(プレゼンター、受付、コンパニオン、顔のあるサポートエージェントなど)をプロダクトとして必要とされている場合、難しい部分はすでに解けていて、あとは統合が仕事になります。
繰り返し担当している4つの領域です。それぞれ、実際に動いているコードが裏にあります。ご相談が2つの領域のあいだに落ちている場合、たいていそこが一番役に立てる場所です。
キャラクターの動き、声、リップシンク、レイアウト、そして配信やアプリへの載せ方まで一気通貫で。プライバシーやコストの都合でクラウド往復が使えない場合は、ローカル前提で設計します。
実績 VPresentation · babiniku.rs · voxshot
「ベンチマーク上は十分速いのに、本番だと遅い」を扱います。データセンター向けのカードからブラウザのタブ、スマートフォンまで、実際に載せる先のアーキテクチャに合わせてカーネルから手を入れます。
キャプチャ・推論・再生を100ms以下の同じ予算に収める必要があるシステム。この領域の面白い不具合は、たいていモデルではなくOS側にあります。
実績 ProcTap · PyETWkit · MeetScribe
アーキテクチャレビュー、技術選定、そして「入れただけ」で終わらないAI駆動開発の定着まで。CTO・技術リードを含む15年分の現場経験をもとにお話しします。
背景 雇われCTO経験 · ベンダー4社統合の技術リード · オフショア(インド/ベトナム)のベンダーコントロール
近いものを選んでいただければ十分です。スコープ・期間・金額は最初の会話から決めていきます。入力フォームもありませんし、「この規模でないと受けない」という下限もありません。
難しい問いを1つ、1回の打ち合わせで。「これ40msに収まりますか」「GPUの選定はこれで合ってますか」「なぜブラウザでだけカクつくのか」など。
短期・範囲を区切った実装で、「御社のハードと予算で成立するのか」に答えを出します。所感ではなく、数字で。
システムそのもの、あるいはその中の一番難しい層を、御社のチームと並走してつくります。納品物は御社のものになるコードと、判断の経緯を残したドキュメント。
継続的な関与として。アーキテクチャレビュー、技術判断、そしてスプリント単位ではなく月単位でチームの地力を上げること。
仕様書は要りません。4行あれば、自分が適任かどうかをお伝えできます。適任でない場合はそう言いますし、心当たりがあれば別の方をご紹介します。
すべて自分で書いて、自分でメンテナンスしているライブラリ/ツールです。いくつかはパッケージレジストリに公開済みで、いくつかはブラウザですぐ触れるデモがあります。
Microsoft の BitNet b1.58 三値LLMを WebGPU で動かします。WGSLの自作カーネルで、WASMもサーバーも使いません。npm / crates.io / PyPI / Maven Central に公開し、TypeScript・Rust・Python・Swift・Java・C のバインディングを提供しています。
WASAPI process loopback を使って、PID指定で特定プロセスの音だけを録るライブラリ。「通話は入れずにゲームの音だけ録る」がPythonの2行で書けるようになります。PyPI公開済み。
arXiv・Hugging Face・GitHub から、AI/MLの論文・モデル・リポジトリ・トレンドを毎時収集して定点観測するダッシュボード。自分用の観測所をそのまま公開しています。
Python向けの最小GPUランタイム。手書きCUDAカーネル、明示的なメモリ管理、そして重いフレームワークを下に敷かないLLM推論。Ampere から Blackwell(RTX 5090 の SM120 含む)まで対応。
WGSL → NPU のトランスパイラ。WebGPUのシェーダー言語をNPUのネイティブ形式にコンパイルし、1つのシェーダーで実機のアクセラレータを狙えるようにします。バックエンドは Qualcomm / MediaTek / Samsung / Rockchip / ARM Ethos / CEVA / Intel / AMD / CoreML / ONNX / TFLite / StableHLO。
Python向けの高性能 ETW(Event Tracing for Windows)コンシューマー。コアはRustで書き、PyO3でバインドしています。自分でC++に降りなくても、ETW本来のスループットが出ます。
ブラウザ前提のゼロショットTTS・音声クローン(JavaScript / TypeScript向け)。WebGPU + ONNX Runtime Web で、Pythonもバックエンドも APIキーも不要。VPresentation の中で声を出しているのがこれです。
macOS向けの KDE Plasma 風タイル型ウィンドウ管理。ビジュアルなタイルエディタ、Shift+Drop でのウィンドウ配置、ギャップのドラッグによるリサイズ。SIPの無効化は不要です。
余っているAndroid端末を GitHub Actions のセルフホストランナーにするツール。ARM64ビルドと実機NPUテストを、rootもTermuxもなしで回せます。
キャリアの最初はC++ / Win32 の Windows クライアントでした。給与ソフトの新規開発、インストーラー、そして「データ破損の問い合わせが、そのライブラリを書いた本人のところに来る」種類のコードベースです。その後はカプコンでゲームサーバー。稼働中のタイトルは、レイテンシと負荷が何なのかを容赦なく教えてくれる場所で、最終的にはサーバー運用のリードも担当しました。
そこからはCTO・技術リードとして、ベンダー4社の統合、開発組織づくり、インド・ベトナムのオフショアチーム運営など。2023年からは有限会社DEVenusの代表として、AI案件・3D案件を主軸に活動しています。
一貫しているのは縦方向のレンジです。CUDAカーネルも、その出力を映すReact Nativeのフロントも書けて、そのあいだのトレードオフをコードを書かない人にも説明できる。いまはそれが主にリアルタイムAIの音声・映像に向いていて、業務では SM120 / SM86 のカーネルでGPU推論を実装しつつ、夜はアバターモデルをRustに移植しています。
日本語・英語どちらでも仕事をします。経営層と話すことにも抵抗はありません。
ざっくりした構想の段階で大丈夫です。いただいたものには必ず返信します(だいたい1〜2日以内)。「たぶんご期待には沿えませんが」というお返事も含めて。
[email protected]日本語・英語どちらでも。法人契約・ご請求は有限会社DEVenusとして対応します。NDAの締結も問題ありません。