add paragraph_threshold into paragraph_tokenize function

[pavaris-pm]

Adding paragraph_threshold argument, According to the original paper 'Where's the Point? Self-Supervised Multilingual Punctuation-Agnostic Sentence Segmentation,' we have the option to adjust the paragraph threshold using the paragraph_threshold argument. This threshold corresponds to the alpha value mentioned in the paper's method section. By default, the paragraph threshold is set to 0.5

α can be set to a small constant value such as 0.01, where a higher α gives rise to more conservative segmentation

Here is a usage:

when paragraph_threshold=0.5

from pythainlp.tokenize import paragraph_tokenize

sent = (
    "(1) บทความนี้ผู้เขียนสังเคราะห์ขึ้นมาจากผลงานวิจัยที่เคยทำมาในอดีต"
    +"  มิได้ทำการศึกษาค้นคว้าใหม่อย่างกว้างขวางแต่อย่างใด"
    +" จึงใคร่ขออภัยในความบกพร่องทั้งปวงมา ณ ที่นี้"
)

# same as paragraph_tokenize(sent, paragraph_threshold=0.5)
paragraph_tokenize(sent)

# output
# [['(1) '],
# ['บทความนี้ผู้เขียนสังเคราะห์ขึ้นมาจากผลงานวิจัยที่เคยทำมาในอดีต  ',
#  'มิได้ทำการศึกษาค้นคว้าใหม่อย่างกว้างขวางแต่อย่างใด ',
#  'จึงใคร่ขออภัยในความบกพร่องทั้งปวงมา ',
#  'ณ ที่นี้']]

when the paragraph_threshold = 0.8 -> more conservative segmentation

paragraph_tokenize(sent, paragraph_threshold=0.8)

# output
# [['(1) ',
#  'บทความนี้ผู้เขียนสังเคราะห์ขึ้นมาจากผลงานวิจัยที่เคยทำมาในอดีต  ',
#  'มิได้ทำการศึกษาค้นคว้าใหม่อย่างกว้างขวางแต่อย่างใด ',
#  'จึงใคร่ขออภัยในความบกพร่องทั้งปวงมา ',
#  'ณ ที่นี้']]

when the paragraph_threshold = 0.05 -> less conservative segmentation

paragraph_tokenize(sent, paragraph_threshold=0.05)

# output
# [['(1) '],
# ['บทความนี้ผู้เขียนสังเคราะห์ขึ้นมาจากผลงานวิจัยที่เคยทำมาในอดีต  '],
# ['มิได้ทำการศึกษาค้นคว้าใหม่อย่างกว้างขวางแต่อย่างใด ',
#  'จึงใคร่ขออภัยในความบกพร่องทั้งปวงมา '],
# ['ณ ที่นี้']]

[sonarqubecloud]

Kudos, SonarCloud Quality Gate passed!   

0 Bugs
0 Vulnerabilities
0 Security Hotspots
0 Code Smells

No Coverage information
0.0% Duplication

[wannaphong]

Thank you for pull request! 💯