【副業実験記#7】Python＋KeyBERTで日本語テキストからキーワードを抽出してみた話

from keybert import KeyBERT
from sentence_transformers import SentenceTransformer

# 日本語対応のBERTモデルを読み込み
model = SentenceTransformer('cl-tohoku/bert-base-japanese')

# KeyBERTにモデルを渡す
kw_model = KeyBERT(model)

# キーワードを抽出したいテキスト
text = "Pythonはプログラミング言語のひとつで、データ分析やAI開発にも使われています。"

# キーワード抽出（トップ10件）
keywords = kw_model.extract_keywords(text, top_n=10)

# 結果表示
for kw in keywords:
    print(kw)

('データ分析やai開発にも使われています', 0.9273)
('pythonはプログラミング言語のひとつで', 0.9215)

import fugashi
from sentence_transformers import SentenceTransformer
from sklearn.metrics.pairwise import cosine_similarity

# モデル読み込み（東北大でもOK）
model = SentenceTransformer("cl-tohoku/bert-base-japanese")

# 入力
input_text = "Pythonはプログラミング言語のひとつで、データ分析やAI開発にも使われています。"

def extract_noun_phrases(text):
    words = list(fugashi.Tagger()(text))
    phrases = []
    i = 0
    while i < len(words):
        word = words[i]
        # 名詞 + 接尾辞 のペア（例：ひと + つ → ひとつ）
        if "名詞" in word.feature:
            phrase = word.surface
            # 次が接尾辞ならくっつける
            if i + 1 < len(words) and "接尾辞" in words[i + 1].feature:
                phrase += words[i + 1].surface
                i += 1
            phrases.append(phrase)
        i += 1
    return list(set(phrases))  # 重複除去

candidates = extract_noun_phrases(input_text)

# 埋め込みベクトル化
doc_vec = model.encode([input_text])
cand_vecs = model.encode(candidates)

# 類似度スコアを計算
scores = cosine_similarity(doc_vec, cand_vecs)[0]

# 候補＋スコアのペアを作る
scored = list(zip(candidates, scores))
scored.sort(key=lambda x: x[1], reverse=True)

# 表示
for w, s in scored:
    print(f"{w}: {s:.4f}")

Python: 0.7277
データ: 0.6582
プログラミング: 0.6475
ひとつ: 0.6181
分析: 0.6071
言語: 0.5833
開発: 0.5749
AI: 0.5471

import spacy
from sentence_transformers import SentenceTransformer
from sklearn.metrics.pairwise import cosine_similarity

# GiNZAモデルの読み込み（ja_ginza_electraが高精度）
nlp = spacy.load("ja_ginza_electra")
model = SentenceTransformer("cl-tohoku/bert-base-japanese")

# 入力文
input_text = "Pythonはプログラミング言語のひとつで、データ分析やAI開発にも使われています。"

# 名詞句（noun chunk）を候補として抽出
def extract_noun_phrases_with_ginza(text):
    doc = nlp(text)
    return list(set([chunk.text for chunk in doc.noun_chunks if len(chunk.text.strip()) > 1]))

candidates = extract_noun_phrases_with_ginza(input_text)

# ベクトル化してスコア計算
doc_vec = model.encode([input_text])
cand_vecs = model.encode(candidates)
scores = cosine_similarity(doc_vec, cand_vecs)[0]

# スコア付きで並べる
scored = list(zip(candidates, scores))
scored.sort(key=lambda x: x[1], reverse=True)

# 表示
for word, score in scored:
    print(f"{word}: {score:.4f}")

Python: 0.7277
プログラミング言語: 0.6830
データ分析: 0.6397
AI開発: 0.6162