VLM / MLLM リサーチャー

1012【Dev】VLM / MLLM リサーチャー

募集概要

私たちはニュース・特許・論文・社内文章に加え、実験レポート・設計資料・製品マニュアル・図面などの図表を含んだ複雑な文章の読み取りに特化したVLM / Document AI基盤を開発し、製造業のお客様の意思決定を助けるサービスや暗黙知の抽出・形式化に応用しています。 現在は以下のような研究課題に取り組んでおり、事業の拡大に伴い、一緒に研究開発を進めていただけるVLMリサーチャーの方を募集しています。

• 日本語・製造業ドキュメントに特化したVLM / マルチモーダル基盤モデルの開発
• 図表・図面・化学式・フローズ・仕様書などを横断的に理解するドキュメント読解技術の開発
• 文章画像の構造化・情報抽出パイプラインの研究開発
• 視覚モダリティで解決可能な暗黙知・専門知識・判断プロセスを形式知化するためのモデル・データ・評価手法の研究開発

Research DivisionのVLMユニットにおいて、日本語・ビジネス・製造業ドキュメントを対象としたVLM / Document AIの研究開発を行っていただきます。 モデル開発・データ合成・評価などの技術開発業務だけでなく、論文執筆による国際会議への投稿もお任せします。

• ビジネスドキュメント・製造業に特化したVLM / MLLMの研究開発
• ドキュメント読解、テーブル理解、チャート理解、図面解析、化学式理解、レイアウト理解に関するモデル改善
• VQA, CoT, Visual Grounding, Document Parsing, Document Structuringに関連す研究開発
• 学習データ、評価データ、ベンチマーク、アノテーション基準、品質フィルタリング手法の構築
• VLMの出力に対する信頼性評価、ハルシネーション抑止、根拠提示、バリデーション手法の研究
• 論文執筆、学会発表、技術ブログ、モデル・データセット公開などの社外発信

現在は東北大学乾教授・産総研石垣研究員らと共同研究を進めています。日経新聞にも取り上げられるなど、国内でも注目が集まるプロジェクトになっています。 https://stockmark.co.jp/news/20211125https://www.nikkei.com/article/DGXZQOUC035ZU0T00C25A3000000/

※変更の範囲：開発業務全般

VLM Unit（現在 4名）

Research Division（8名）

• Knowledge Unit（4名）
• VLM Unit（4名）

Python, SQL

• 産総研や東北大との共同研究を通して最先端の研究や国際会議投稿にチャレンジできる
• プロダクト開発との距離が近く、開発した技術が製造業のお客様のビジネス創出につながるというやりがい
• 図表、表、図面、化学式、仕様書、技術資料など、実社会の複雑なドキュメント理解という未解決性の高いテーマに挑戦できる

• 【Stockmark Tech Blog】文書画像構造化の新ベンチマーク OmniDocBench-JASynの構築

https://stockmark-tech.hatenablog.com/entry/2026/05/12/103911

• 【Stockmark Tech Blog】Stockmark-DocReasoner-Qwen2.5-VL-32B：ペルソナに基づくデータ合成を用いた日本語ドキュメント読解のためのChain-of-Thought視覚言語モデル

https://stockmark-tech.hatenablog.com/entry/2026/04/28/100048

• 弊社Researchページ（メンバーのプロフィールもご覧ください）

https://stockmark.co.jp/research

必須スキル

※すべて必須

• 画像処理・自然言語処理に対する深い知識と業務経験 (特に、深層学習を用いた画像処理・自然言語処理の実務経験)
• 査読あり国際学会や英文学術誌での論文採択の実績
• 理工系大学院修了

歓迎スキル

1. 以下の技術領域における研究経験・実務経験 1. VLM / MLLM / Document AI / OCR / Layout Analysisに関する研究または実務経験 2. Qwen-VL, InternVL, LLaVA, LayoutLM等の関連モデルの利用・評価・改善経験 3. ドキュメント読解、図表理解、図面解析に関する研究開発経験 4. SFT、Instruction Tuning、GRPO、DPO、RLHF等を用いたモデル改善経験 5. 製造業、化学、機械、電気、材料、特許、研究開発領域に関するドメイン知識 2. ビジネスレベルの英語力

求める人物像

• 本質的にテクノロジーに興味があり、その分野の第一人者となる気概がある
• ビジネスサイドとコミュニケーションしながら、いかにお客様に届け、事業を成長させるかを考えられる
• 論文を読みながら最新の理論をフォロー、検証するのが好き

• 日本国内に居住可能な方
• 開発に関する技術的な内容含め、日本語で円滑にコミュニケーションが取れる方

目安：ビジネス会話レベル

応募概要

給与

• 想定年収：7,500,000円〜15,000,000円

※月給×12ヶ月

• 月給：625,000円〜1,250,000円

基本給：408,423円〜871,847円 生涯設計手当：55,000円 固定残業代45時間分：161,577円〜323,153円（超過分は別途支給） ※生涯設計手当：確定拠出年金掛金及び生涯設計前払金の組み合わせとして支給

• 昇給あり（年2回/5月、11月）

勤務地

• 本社または自宅その他リモートワークが行える場所（変更の範囲なし）

※フルリモートワーク可

居住地は日本国内に限ります（海外に居住してのフルリモート不可）

• コアタイム：10:00～14:00
• 1ヶ月の標準労働時間：1日8時間×営業日数

※時間外労働あり（平均10〜20時間）

• リモートワークと合わせて、時間や場所に縛られない柔軟な働き方が可能です。
• 勤務時間の調整や中抜けなどで、子育てや介護との両立もしやすい環境です。

• 有給休暇（入社時付与　※付与日数は入社月による）

試用期間

あり（3ヶ月） ※期間中の条件変更なし

福利厚生

• オフィスにて水/コーヒー/炭酸/アルコールなどのドリンク無料提供

• 月1回の研究日制度（自身の技術向上・学習目的）

• 月1回懇親会（オフライン開催、一部オンライン有り）
• 半期1回キックオフ（オンライン＆オフラインのハイブリッド開催）