2021-07-24から1日間の記事一覧
■単語ごとに分けた辞書を作る Tokenオブジェクトの中から必要な属性を取り出してリスト化する。 data = [] from janome.tokenizer import Tokenizer t = Tokenizer() token_list = t.tokenize("今日はいい天気ですね。") for token in token_list: surface =…
■単語ごとに分けた辞書を作る Tokenオブジェクトの中から必要な属性を取り出してリスト化する。 data = [] from janome.tokenizer import Tokenizer t = Tokenizer() token_list = t.tokenize("今日はいい天気ですね。") for token in token_list: surface =…