:mod:`langchain.text_splitter`.TokenTextSplitter
=======================================================

.. currentmodule:: langchain.text_splitter

.. autoclass:: TokenTextSplitter

   
   
   

   
   
   .. rubric:: Methods

   .. autosummary::
   
      ~TokenTextSplitter.__init__
      ~TokenTextSplitter.atransform_documents
      ~TokenTextSplitter.create_documents
      ~TokenTextSplitter.from_huggingface_tokenizer
      ~TokenTextSplitter.from_tiktoken_encoder
      ~TokenTextSplitter.split_documents
      ~TokenTextSplitter.split_text
      ~TokenTextSplitter.transform_documents

   
   .. automethod:: TokenTextSplitter.__init__
   .. automethod:: TokenTextSplitter.atransform_documents
   .. automethod:: TokenTextSplitter.create_documents
   .. automethod:: TokenTextSplitter.from_huggingface_tokenizer
   .. automethod:: TokenTextSplitter.from_tiktoken_encoder
   .. automethod:: TokenTextSplitter.split_documents
   .. automethod:: TokenTextSplitter.split_text
   .. automethod:: TokenTextSplitter.transform_documents

   
   


.. example_links:: TokenTextSplitter