From 45818046a256a027ee82ea270d81646f9602e664 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?P=C3=A5l-Kristian=20Hamre?= Date: Tue, 22 Jul 2025 20:03:39 +0200 Subject: [PATCH] Lowercase cleanup improvement and added more words again. --- rstat_tool/database.py | 7 +- rstat_tool/format_blacklist.py | 176 +++++++++++++++++---------------- rstat_tool/ticker_extractor.py | 176 +++++++++++++++++---------------- 3 files changed, 188 insertions(+), 171 deletions(-) diff --git a/rstat_tool/database.py b/rstat_tool/database.py index ab1c43b..2b962d9 100644 --- a/rstat_tool/database.py +++ b/rstat_tool/database.py @@ -114,11 +114,16 @@ def clean_stale_subreddits(active_subreddits): log.info("\n--- Cleaning Stale Subreddits from Database ---") conn = get_db_connection() cursor = conn.cursor() + + # Convert the list of active subreddits from the config file to a lowercase set for fast, + # case-insensitive lookups. + active_subreddits_lower = {sub.lower() for sub in active_subreddits} + cursor.execute("SELECT id, name FROM subreddits") db_subreddits = cursor.fetchall() stale_sub_ids = [] for sub in db_subreddits: - if sub['name'] not in active_subreddits: + if sub['name'] not in active_subreddits_lower: log.info(f"Found stale subreddit to remove: r/{sub['name']}") stale_sub_ids.append(sub['id']) if not stale_sub_ids: diff --git a/rstat_tool/format_blacklist.py b/rstat_tool/format_blacklist.py index 9aac945..568ca16 100644 --- a/rstat_tool/format_blacklist.py +++ b/rstat_tool/format_blacklist.py @@ -1,92 +1,98 @@ # The initial unsorted set of words. # Note: In Python, a 'set' is inherently unordered, but we define it here for clarity. COMMON_WORDS_BLACKLIST = { - "401K", "403B", "457B", "ABC", "ABOUT", "ABOVE", "ADAM", "ADX", "AEDT", "AEST", - "AF", "AFAIK", "AFTER", "AH", "AI", "AINT", "ALD", "ALGOS", "ALIVE", "ALL", - "ALPHA", "ALSO", "AM", "AMA", "AMEX", "AND", "ANY", "APES", "APL", "APPL", - "APPLE", "AR", "ARE", "AREA", "ARK", "AROUND", "ASAP", "ASK", "ASS", "ASSET", - "AT", "ATH", "ATL", "ATM", "AUD", "AUM", "AV", "AVG", "AWS", "BABY", - "BAG", "BAGS", "BALLS", "BANG", "BBB", "BE", "BEAR", "BEARS", "BECN", "BEER", - "BELL", "BELOW", "BETA", "BETS", "BF", "BID", "BIG", "BIS", "BITCH", "BLEND", - "BNPL", "BOE", "BOJ", "BOLL", "BOMB", "BOND", "BORN", "BOTH", "BOTS", "BOYS", - "BRB", "BRICS", "BRK", "BRKB", "BRL", "BROKE", "BS", "BST", "BSU", "BT", - "BTC", "BTS", "BTW", "BULL", "BULLS", "BUST", "BUT", "BUY", "BUZZ", "CAD", - "CALL", "CAN", "CAP", "CASE", "CBD", "CBGM", "CBS", "CCI", "CD", "CEO", - "CEST", "CET", "CEX", "CFD", "CFO", "CHART", "CHECK", "CHF", "CHIPS", "CIA", - "CLEAN", "CLICK", "CLOSE", "CNBC", "CNN", "CNY", "COCK", "COGS", "COIL", "COKE", - "COME", "COST", "COULD", "COVID", "CPAP", "CPI", "CRO", "CRV", "CSE", "CSS", - "CST", "CTB", "CTEP", "CTO", "CULT", "CYCLE", "CZK", "DA", "DAILY", "DAO", - "DATE", "DAX", "DAY", "DAYS", "DCA", "DCF", "DD", "DEBT", "DEEZ", "DEMO", - "DEX", "DIA", "DID", "DIDNT", "DIP", "DITM", "DIV", "DIY", "DJIA", "DKK", - "DL", "DM", "DMV", "DNI", "DO", "DOE", "DOES", "DOGE", "DOJ", "DOM", - "DONT", "DOOR", "DOWN", "DPI", "DR", "DUDE", "DUMP", "DUTY", "DYI", "DYNK", - "DYODD", "DYOR", "EACH", "EARLY", "EARN", "EAST", "EASY", "ECB", "EDGAR", "EDIT", - "EDT", "EJ", "EMA", "EMJ", "END", "ENRON", "ENV", "EO", "EOD", "EOW", - "EOY", "EPA", "EPS", "ER", "ESG", "ESPP", "EST", "ETA", "ETF", "ETFS", - "ETH", "EU", "EUR", "EV", "EVEN", "EVERY", "EVTOL", "EXTRA", "EYES", "EZ", - "FAANG", "FAFO", "FAQ", "FAR", "FAST", "FBI", "FCFF", "FD", "FDA", "FEE", - "FFH", "FFS", "FGMA", "FIG", "FIGMA", "FIHTX", "FING", "FINRA", "FINT", "FINTX", - "FINTY", "FIRST", "FKIN", "FLT", "FLY", "FML", "FOLO", "FOMC", "FOMO", "FOR", - "FOREX", "FRAUD", "FRG", "FROM", "FSELK", "FSPSX", "FTD", "FTSE", "FUCK", "FUCKS", - "FUD", "FULL", "FUND", "FUNNY", "FVG", "FX", "FXAIX", "FXIAX", "FXROX", "FY", - "FYI", "FZROX", "GAAP", "GAIN", "GAVE", "GBP", "GC", "GDP", "GET", "GG", - "GJ", "GL", "GLHF", "GMAT", "GMI", "GMT", "GO", "GOAL", "GOAT", "GOD", - "GOING", "GOLD", "GONE", "GONNA", "GPT", "GPU", "GRAB", "GREAT", "GREEN", "GST", - "GTA", "GTFO", "GTG", "GUH", "GUYS", "HAD", "HAHA", "HALF", "HANDS", "HAS", - "HATE", "HAVE", "HBAR", "HCOL", "HEAR", "HEDGE", "HEGE", "HELP", "HEY", "HFCS", - "HFT", "HIGH", "HIGHS", "HINT", "HIS", "HKD", "HODL", "HODOR", "HOF", "HOLD", - "HOLY", "HOME", "HOUR", "HS", "HSA", "HT", "HTF", "HTML", "HUF", "HUGE", - "HYPE", "IANAL", "IB", "IBS", "ICT", "ID", "IDF", "IDK", "IF", "II", - "IKKE", "IKZ", "IM", "IMHO", "IMO", "IN", "INR", "INTO", "IP", "IPO", + "401K", "403B", "457B", "ABC", "ABOUT", "ABOVE", "ADAM", "ADR", "ADX", "AEDT", + "AEST", "AF", "AFAIK", "AFTER", "AH", "AI", "AINT", "ALD", "ALGOS", "ALIVE", + "ALL", "ALPHA", "ALSO", "AM", "AMA", "AMEX", "AND", "ANY", "APES", "APL", + "APPL", "APPLE", "APR", "AR", "ARE", "AREA", "ARH", "ARK", "AROUND", "ASAP", + "ASK", "ASS", "ASSET", "AST", "AT", "ATH", "ATL", "ATM", "AUD", "AUM", + "AV", "AVG", "AWS", "BABY", "BAG", "BAGS", "BALLS", "BANG", "BBB", "BBBY", + "BE", "BEAR", "BEARS", "BECN", "BEER", "BELL", "BELOW", "BETA", "BETS", "BF", + "BID", "BIG", "BIS", "BITCH", "BLEND", "BNPL", "BOE", "BOJ", "BOLL", "BOMB", + "BOND", "BONED", "BORN", "BOTH", "BOTS", "BOY", "BOYS", "BRB", "BRICS", "BRK", + "BRKA", "BRKB", "BRL", "BROKE", "BRRRR", "BS", "BST", "BSU", "BT", "BTC", + "BTS", "BTW", "BULL", "BULLS", "BUST", "BUT", "BUY", "BUZZ", "CAD", "CAFE", + "CAGR", "CALL", "CALLS", "CAN", "CAP", "CARB", "CASE", "CBD", "CBGM", "CBS", + "CCI", "CD", "CEO", "CEST", "CET", "CEX", "CFD", "CFO", "CHART", "CHATS", + "CHECK", "CHF", "CHIPS", "CIA", "CLEAN", "CLICK", "CLOSE", "CMON", "CNBC", "CNN", + "CNY", "COCK", "COGS", "COIL", "COKE", "COME", "COST", "COULD", "COVID", "CPAP", + "CPI", "CRA", "CRE", "CRO", "CRV", "CSE", "CSS", "CST", "CTB", "CTEP", + "CTO", "CUCKS", "CULT", "CUV", "CYCLE", "CZK", "DA", "DAILY", "DAO", "DATE", + "DAX", "DAY", "DAYS", "DCA", "DCF", "DD", "DEBT", "DEEZ", "DEMO", "DEX", + "DIA", "DID", "DIDNT", "DIP", "DITM", "DIV", "DIY", "DJIA", "DKK", "DL", + "DM", "DMV", "DNI", "DO", "DOE", "DOES", "DOGE", "DOJ", "DOM", "DONT", + "DOOR", "DOWN", "DPI", "DR", "DUDE", "DUMP", "DUTY", "DYI", "DYNK", "DYODD", + "DYOR", "EACH", "EARLY", "EARN", "EAST", "EASY", "ECB", "EDGAR", "EDIT", "EDT", + "EJ", "EMA", "EMJ", "END", "ENRON", "ENSI", "ENV", "EO", "EOD", "EOW", + "EOY", "EPA", "EPK", "EPS", "ER", "ESG", "ESPP", "EST", "ETA", "ETF", + "ETFS", "ETH", "EU", "EUR", "EV", "EVEN", "EVERY", "EVTOL", "EXTRA", "EYES", + "EZ", "FAANG", "FAFO", "FAQ", "FAR", "FAST", "FBI", "FCFF", "FD", "FDA", + "FEE", "FFH", "FFS", "FGMA", "FIG", "FIGMA", "FIHTX", "FING", "FINRA", "FINT", + "FINTX", "FINTY", "FIRST", "FKIN", "FLT", "FLY", "FML", "FOLO", "FOMC", "FOMO", + "FOR", "FOREX", "FRAUD", "FRG", "FROM", "FSBO", "FSD", "FSELK", "FSPSX", "FTD", + "FTSE", "FUCK", "FUCKS", "FUD", "FULL", "FUND", "FUNNY", "FVG", "FWIW", "FX", + "FXAIX", "FXIAX", "FXROX", "FY", "FYI", "FZROX", "GAAP", "GAIN", "GAVE", "GBP", + "GC", "GDP", "GET", "GG", "GJ", "GL", "GLHF", "GMAT", "GMI", "GMT", + "GO", "GOAL", "GOAT", "GOD", "GOING", "GOLD", "GONE", "GONNA", "GPT", "GPU", + "GRAB", "GREAT", "GREEN", "GST", "GTA", "GTFO", "GTG", "GUH", "GUY", "GUYS", + "HAD", "HAHA", "HALF", "HANDS", "HAS", "HATE", "HAVE", "HBAR", "HCOL", "HEAR", + "HEDGE", "HEGE", "HELD", "HELP", "HEY", "HFCS", "HFT", "HGTV", "HIGH", "HIGHS", + "HINT", "HIS", "HITID", "HKD", "HODL", "HODOR", "HOF", "HOLD", "HOLY", "HOME", + "HOUR", "HOW", "HS", "HSA", "HT", "HTF", "HTML", "HUF", "HUGE", "HYPE", + "IANAL", "IB", "IBS", "ICT", "ID", "IDF", "IDK", "IF", "II", "IKKE", + "IKZ", "IM", "IMHO", "IMI", "IMO", "IN", "INR", "INTO", "IP", "IPO", "IRA", "IRAS", "IRC", "IRISH", "IRS", "IS", "ISA", "ISIN", "ISM", "ISN", - "IST", "IT", "ITM", "ITS", "ITWN", "IUIT", "IV", "IVV", "IWM", "JAVA", - "JD", "JFC", "JK", "JLR", "JMO", "JOIN", "JOKE", "JP", "JPOW", "JPY", - "JS", "JST", "JUN", "JUST", "KARMA", "KEEP", "KNEW", "KNOW", "KO", "KOHLS", - "KPMG", "KRW", "LANGT", "LARGE", "LAST", "LATE", "LATER", "LBO", "LDL", "LEADS", - "LEAP", "LEAPS", "LEARN", "LEI", "LETS", "LFG", "LIFE", "LIG", "LIGMA", "LIKE", - "LIMIT", "LIST", "LLC", "LLM", "LMAO", "LMN", "LOKO", "LOL", "LOLOL", "LONG", - "LOOK", "LOSE", "LOSS", "LOST", "LOVE", "LOW", "LOWER", "LOWS", "LP", "LTCG", - "LUPD", "LYING", "M&A", "MA", "MACD", "MAKE", "MAKES", "MANY", "MAX", "MBA", - "MC", "MCP", "ME", "MEME", "MERGE", "MERK", "MES", "MEXC", "MF", "MFER", - "MID", "MIGHT", "MIN", "MIND", "ML", "MLB", "MM", "MNQ", "MOASS", "MOM", - "MONEY", "MONTH", "MONY", "MOON", "MORE", "MOU", "MSK", "MUCH", "MUSIC", "MUST", - "MXN", "MY", "MYMD", "NASA", "NATO", "NBA", "NCAN", "NCR", "NEAR", "NEAT", - "NEED", "NEVER", "NEW", "NEWS", "NEXT", "NFA", "NFC", "NFL", "NFT", "NGMI", - "NIGHT", "NIQ", "NK", "NO", "NOK", "NONE", "NOPE", "NORTH", "NOT", "NOVA", - "NOW", "NQ", "NSA", "NTVS", "NULL", "NUT", "NUTS", "NUTZ", "NVM", "NW", - "NY", "NYSE", "NZ", "NZD", "OBBB", "OBI", "OBV", "OCF", "OCO", "OEM", - "OF", "OFA", "OFF", "OG", "OH", "OK", "OKAY", "OLD", "OMFG", "OMG", - "ON", "ONE", "ONLY", "OP", "OPEC", "OPENQ", "OPEX", "OPRN", "OR", "ORB", - "OS", "OSCE", "OT", "OTC", "OTM", "OUCH", "OUGHT", "OUT", "OVER", "OWN", - "PA", "PANIC", "PC", "PDT", "PE", "PEAK", "PEG", "PETA", "PEW", "PFC", - "PGHL", "PITA", "PLAN", "PLAYS", "PLN", "PM", "PMI", "PNL", "POC", "POMO", - "POP", "POS", "POSCO", "POV", "POW", "PPI", "PR", "PRICE", "PROFIT", "PS", - "PSA", "PST", "PT", "PTD", "PUSSY", "PUT", "PWC", "Q1", "Q2", "Q3", - "Q4", "QE", "QED", "QIMC", "QQQ", "QR", "RAM", "RATM", "RBA", "RBNZ", - "RE", "REACH", "READY", "REAL", "RED", "REIT", "REITS", "REKT", "RFK", "RH", - "RICO", "RIDE", "RIGHT", "RIP", "RISK", "RISKY", "ROCE", "ROCK", "ROE", "ROFL", - "ROI", "ROIC", "ROTH", "RRSP", "RSD", "RSI", "RT", "RTD", "RUB", "RUG", - "RULE", "RUST", "RVOL", "SAGA", "SALES", "SAME", "SAVE", "SAYS", "SBF", "SBLOC", - "SCALP", "SCAM", "SCHB", "SCIF", "SEC", "SEE", "SEK", "SELL", "SELLL", "SEP", - "SET", "SGD", "SHALL", "SHARE", "SHELL", "SHIT", "SHORT", "SHTF", "SI", "SIGN", - "SL", "SLIM", "SLOW", "SMA", "SMALL", "SO", "SOLIS", "SOME", "SOON", "SOUTH", - "SP", "SPAC", "SPDR", "SPEND", "SPLG", "SPX", "SPY", "SS", "START", "STAY", - "STEEL", "STILL", "STOCK", "STOOQ", "STOP", "STOR", "STQQQ", "STUCK", "STUDY", "SUS", - "SUV", "SWIFT", "SWING", "TA", "TAG", "TAKE", "TAM", "TBTH", "TEAMS", "TERM", - "TF", "TFSA", "THANK", "THAT", "THATS", "THE", "THEIR", "THEN", "THERE", "THESE", - "THEY", "THING", "THINK", "THIS", "TIA", "TIKR", "TIME", "TITS", "TJR", "TL", - "TL;DR", "TLDR", "TO", "TODAY", "TOLD", "TOS", "TOT", "TOTAL", "TP", "TRADE", - "TREND", "TRUE", "TRUMP", "TRUST", "TRY", "TSA", "TSP", "TSX", "TSXV", "TTM", - "TTYL", "TWO", "UCITS", "UGH", "UI", "UK", "UNDER", "UNTIL", "UP", "US", - "USA", "USD", "USSR", "UTC", "VALID", "VALUE", "VERY", "VFMXX", "VFV", "VIX", - "VLI", "VOO", "VP", "VR", "VRVP", "VSUS", "VTI", "VUAG", "VW", "VWAP", - "VXN", "VXUX", "WAGMI", "WAIT", "WALL", "WANT", "WATCH", "WAY", "WE", "WEB3", - "WEEK", "WEST", "WHALE", "WHAT", "WHEN", "WHICH", "WHO", "WHOS", "WHY", "WIDE", - "WILL", "WIRE", "WIRED", "WITH", "WL", "WON", "WOOPS", "WORDS", "WORTH", "WOULD", - "WP", "WRONG", "WSB", "WSJ", "WTF", "WV", "WWII", "WWIII", "XCUSE", "XD", - "XEQT", "XMR", "XO", "XRP", "XX", "YEAH", "YEET", "YES", "YET", "YIELD", - "YM", "YMMV", "YOLO", "YOU", "YOUR", "YOY", "YT", "YTD", "YUGE", "ZAR", - "ZEN", "ZERO" + "IST", "IT", "ITC", "ITM", "ITS", "ITWN", "IUIT", "IV", "IVV", "IWM", + "IXL", "JAVA", "JD", "JFC", "JK", "JLR", "JMO", "JOIN", "JOKE", "JP", + "JPOW", "JPY", "JS", "JST", "JUN", "JUST", "KARMA", "KEEP", "KILL", "KING", + "KNEW", "KNOW", "KO", "KOHLS", "KPMG", "KRW", "LANGT", "LARGE", "LAST", "LATE", + "LATER", "LBO", "LCS", "LDL", "LEADS", "LEAP", "LEAPS", "LEARN", "LEI", "LET", + "LETS", "LFG", "LFP", "LIFE", "LIG", "LIGMA", "LIKE", "LIMIT", "LIST", "LLC", + "LLM", "LMAO", "LMM", "LMN", "LOKO", "LOL", "LOLOL", "LONG", "LOOK", "LOSE", + "LOSS", "LOST", "LOVE", "LOW", "LOWER", "LOWS", "LP", "LTCG", "LUPD", "LYING", + "M&A", "MA", "MACD", "MAKE", "MAKES", "MANY", "MAX", "MBA", "MC", "MCAP", + "MCP", "ME", "MEME", "MERGE", "MERK", "MES", "MEXC", "MF", "MFER", "MID", + "MIGHT", "MIN", "MIND", "ML", "MLB", "MLS", "MM", "MNQ", "MOASS", "MOM", + "MONEY", "MONTH", "MONY", "MOON", "MORE", "MOU", "MSK", "MTVGA", "MUCH", "MUSIC", + "MUST", "MXN", "MY", "MYMD", "NASA", "NASDA", "NATO", "NAV", "NBA", "NCAN", + "NCR", "NEAR", "NEAT", "NEED", "NEVER", "NEW", "NEWS", "NEXT", "NFA", "NFC", + "NFL", "NFT", "NGMI", "NIGHT", "NIQ", "NK", "NO", "NOK", "NONE", "NOPE", + "NORTH", "NOT", "NOVA", "NOW", "NQ", "NSA", "NTVS", "NULL", "NUT", "NUTS", + "NUTZ", "NVM", "NW", "NY", "NYSE", "NZ", "NZD", "OBBB", "OBI", "OBS", + "OBV", "OCF", "OCO", "ODAT", "OEM", "OF", "OFA", "OFF", "OG", "OH", + "OK", "OKAY", "OLD", "OMFG", "OMG", "ON", "ONE", "ONLY", "OP", "OPEC", + "OPENQ", "OPEX", "OPRN", "OR", "ORB", "OS", "OSCE", "OT", "OTC", "OTM", + "OUCH", "OUGHT", "OUT", "OVER", "OWN", "PA", "PANIC", "PC", "PDT", "PE", + "PEAK", "PEG", "PETA", "PEW", "PFC", "PGHL", "PIMCO", "PITA", "PLAN", "PLAYS", + "PLN", "PM", "PMI", "PNL", "POC", "POMO", "POP", "POS", "POSCO", "POTUS", + "POV", "POW", "PPI", "PR", "PRICE", "PROFIT", "PROXY", "PS", "PSA", "PST", + "PT", "PTD", "PUSSY", "PUT", "PWC", "Q1", "Q2", "Q3", "Q4", "QE", + "QED", "QIMC", "QQQ", "QR", "RAM", "RATM", "RBA", "RBNZ", "RE", "REACH", + "READY", "REAL", "RED", "REIT", "REITS", "REKT", "RFK", "RH", "RICO", "RIDE", + "RIGHT", "RIP", "RISK", "RISKY", "ROCE", "ROCK", "ROE", "ROFL", "ROI", "ROIC", + "ROTH", "RRSP", "RSD", "RSI", "RT", "RTD", "RUB", "RUG", "RULE", "RUST", + "RVOL", "SAGA", "SALES", "SAME", "SAVE", "SAYS", "SBF", "SBLOC", "SC", "SCALP", + "SCAM", "SCHB", "SCIF", "SEC", "SEE", "SEK", "SELL", "SELLL", "SEP", "SESG", + "SET", "SGD", "SHALL", "SHARE", "SHELL", "SHIT", "SHORT", "SHOW", "SHTF", "SI", + "SIGN", "SL", "SLIM", "SLOW", "SMA", "SMALL", "SO", "SOLIS", "SOME", "SOON", + "SOUTH", "SP", "SPAC", "SPDR", "SPEND", "SPLG", "SPX", "SPY", "SS", "START", + "STAY", "STEEL", "STFU", "STILL", "STOCK", "STOOQ", "STOP", "STOR", "STQQQ", "STUCK", + "STUDY", "SUS", "SUV", "SWIFT", "SWING", "TA", "TAG", "TAKE", "TAM", "TBTH", + "TEAMS", "TED", "TERM", "TEXT", "TF", "TFNA", "TFSA", "THANK", "THAT", "THATS", + "THE", "THEIR", "THEM", "THEN", "THERE", "THESE", "THEY", "THING", "THINK", "THIS", + "TIA", "TIKR", "TIME", "TINA", "TITS", "TJR", "TL", "TL;DR", "TLDR", "TO", + "TODAY", "TOLD", "TOO", "TOS", "TOT", "TOTAL", "TP", "TRADE", "TREND", "TRUE", + "TRUMP", "TRUST", "TRY", "TSA", "TSP", "TSX", "TSXV", "TTM", "TTYL", "TWO", + "UAW", "UCITS", "UGH", "UI", "UK", "UNDER", "UNTIL", "UP", "US", "USA", + "USD", "USSA", "USSR", "UTC", "VALID", "VALUE", "VAMOS", "VERY", "VFMXX", "VFV", + "VI", "VIX", "VLI", "VOO", "VP", "VR", "VRVP", "VSUS", "VTI", "VUAG", + "VW", "VWAP", "VWCE", "VXN", "VXUX", "WAGMI", "WAIT", "WALL", "WANT", "WATCH", + "WAY", "WE", "WEB3", "WEEK", "WENT", "WEST", "WHALE", "WHAT", "WHEN", "WHERE", + "WHICH", "WHO", "WHOS", "WHY", "WIDE", "WILL", "WIRE", "WIRED", "WITH", "WL", + "WON", "WOOPS", "WORDS", "WORTH", "WOULD", "WP", "WRONG", "WSB", "WSJ", "WTF", + "WV", "WWII", "WWIII", "X", "XCUSE", "XD", "XEQT", "XMR", "XO", "XRP", + "XX", "YEAH", "YEET", "YES", "YET", "YIELD", "YM", "YMMV", "YOLO", "YOU", + "YOUR", "YOY", "YT", "YTD", "YUGE", "ZAR", "ZEN", "ZERO", "ZEVDXY" } def format_and_print_list(word_set, words_per_line=10): diff --git a/rstat_tool/ticker_extractor.py b/rstat_tool/ticker_extractor.py index 548a379..eba2dc7 100644 --- a/rstat_tool/ticker_extractor.py +++ b/rstat_tool/ticker_extractor.py @@ -5,92 +5,98 @@ import re # A set of common English words and acronyms that look like stock tickers. # This helps reduce false positives. COMMON_WORDS_BLACKLIST = { - "401K", "403B", "457B", "ABC", "ABOUT", "ABOVE", "ADAM", "ADX", "AEDT", "AEST", - "AF", "AFAIK", "AFTER", "AH", "AI", "AINT", "ALD", "ALGOS", "ALIVE", "ALL", - "ALPHA", "ALSO", "AM", "AMA", "AMEX", "AND", "ANY", "APES", "APL", "APPL", - "APPLE", "AR", "ARE", "AREA", "ARK", "AROUND", "ASAP", "ASK", "ASS", "ASSET", - "AT", "ATH", "ATL", "ATM", "AUD", "AUM", "AV", "AVG", "AWS", "BABY", - "BAG", "BAGS", "BALLS", "BANG", "BBB", "BE", "BEAR", "BEARS", "BECN", "BEER", - "BELL", "BELOW", "BETA", "BETS", "BF", "BID", "BIG", "BIS", "BITCH", "BLEND", - "BNPL", "BOE", "BOJ", "BOLL", "BOMB", "BOND", "BORN", "BOTH", "BOTS", "BOYS", - "BRB", "BRICS", "BRK", "BRKB", "BRL", "BROKE", "BS", "BST", "BSU", "BT", - "BTC", "BTS", "BTW", "BULL", "BULLS", "BUST", "BUT", "BUY", "BUZZ", "CAD", - "CALL", "CAN", "CAP", "CASE", "CBD", "CBGM", "CBS", "CCI", "CD", "CEO", - "CEST", "CET", "CEX", "CFD", "CFO", "CHART", "CHECK", "CHF", "CHIPS", "CIA", - "CLEAN", "CLICK", "CLOSE", "CNBC", "CNN", "CNY", "COCK", "COGS", "COIL", "COKE", - "COME", "COST", "COULD", "COVID", "CPAP", "CPI", "CRO", "CRV", "CSE", "CSS", - "CST", "CTB", "CTEP", "CTO", "CULT", "CYCLE", "CZK", "DA", "DAILY", "DAO", - "DATE", "DAX", "DAY", "DAYS", "DCA", "DCF", "DD", "DEBT", "DEEZ", "DEMO", - "DEX", "DIA", "DID", "DIDNT", "DIP", "DITM", "DIV", "DIY", "DJIA", "DKK", - "DL", "DM", "DMV", "DNI", "DO", "DOE", "DOES", "DOGE", "DOJ", "DOM", - "DONT", "DOOR", "DOWN", "DPI", "DR", "DUDE", "DUMP", "DUTY", "DYI", "DYNK", - "DYODD", "DYOR", "EACH", "EARLY", "EARN", "EAST", "EASY", "ECB", "EDGAR", "EDIT", - "EDT", "EJ", "EMA", "EMJ", "END", "ENRON", "ENV", "EO", "EOD", "EOW", - "EOY", "EPA", "EPS", "ER", "ESG", "ESPP", "EST", "ETA", "ETF", "ETFS", - "ETH", "EU", "EUR", "EV", "EVEN", "EVERY", "EVTOL", "EXTRA", "EYES", "EZ", - "FAANG", "FAFO", "FAQ", "FAR", "FAST", "FBI", "FCFF", "FD", "FDA", "FEE", - "FFH", "FFS", "FGMA", "FIG", "FIGMA", "FIHTX", "FING", "FINRA", "FINT", "FINTX", - "FINTY", "FIRST", "FKIN", "FLT", "FLY", "FML", "FOLO", "FOMC", "FOMO", "FOR", - "FOREX", "FRAUD", "FRG", "FROM", "FSELK", "FSPSX", "FTD", "FTSE", "FUCK", "FUCKS", - "FUD", "FULL", "FUND", "FUNNY", "FVG", "FX", "FXAIX", "FXIAX", "FXROX", "FY", - "FYI", "FZROX", "GAAP", "GAIN", "GAVE", "GBP", "GC", "GDP", "GET", "GG", - "GJ", "GL", "GLHF", "GMAT", "GMI", "GMT", "GO", "GOAL", "GOAT", "GOD", - "GOING", "GOLD", "GONE", "GONNA", "GPT", "GPU", "GRAB", "GREAT", "GREEN", "GST", - "GTA", "GTFO", "GTG", "GUH", "GUYS", "HAD", "HAHA", "HALF", "HANDS", "HAS", - "HATE", "HAVE", "HBAR", "HCOL", "HEAR", "HEDGE", "HEGE", "HELP", "HEY", "HFCS", - "HFT", "HIGH", "HIGHS", "HINT", "HIS", "HKD", "HODL", "HODOR", "HOF", "HOLD", - "HOLY", "HOME", "HOUR", "HS", "HSA", "HT", "HTF", "HTML", "HUF", "HUGE", - "HYPE", "IANAL", "IB", "IBS", "ICT", "ID", "IDF", "IDK", "IF", "II", - "IKKE", "IKZ", "IM", "IMHO", "IMO", "IN", "INR", "INTO", "IP", "IPO", + "401K", "403B", "457B", "ABC", "ABOUT", "ABOVE", "ADAM", "ADR", "ADX", "AEDT", + "AEST", "AF", "AFAIK", "AFTER", "AH", "AI", "AINT", "ALD", "ALGOS", "ALIVE", + "ALL", "ALPHA", "ALSO", "AM", "AMA", "AMEX", "AND", "ANY", "APES", "APL", + "APPL", "APPLE", "APR", "AR", "ARE", "AREA", "ARH", "ARK", "AROUND", "ASAP", + "ASK", "ASS", "ASSET", "AST", "AT", "ATH", "ATL", "ATM", "AUD", "AUM", + "AV", "AVG", "AWS", "BABY", "BAG", "BAGS", "BALLS", "BANG", "BBB", "BBBY", + "BE", "BEAR", "BEARS", "BECN", "BEER", "BELL", "BELOW", "BETA", "BETS", "BF", + "BID", "BIG", "BIS", "BITCH", "BLEND", "BNPL", "BOE", "BOJ", "BOLL", "BOMB", + "BOND", "BONED", "BORN", "BOTH", "BOTS", "BOY", "BOYS", "BRB", "BRICS", "BRK", + "BRKA", "BRKB", "BRL", "BROKE", "BRRRR", "BS", "BST", "BSU", "BT", "BTC", + "BTS", "BTW", "BULL", "BULLS", "BUST", "BUT", "BUY", "BUZZ", "CAD", "CAFE", + "CAGR", "CALL", "CALLS", "CAN", "CAP", "CARB", "CASE", "CBD", "CBGM", "CBS", + "CCI", "CD", "CEO", "CEST", "CET", "CEX", "CFD", "CFO", "CHART", "CHATS", + "CHECK", "CHF", "CHIPS", "CIA", "CLEAN", "CLICK", "CLOSE", "CMON", "CNBC", "CNN", + "CNY", "COCK", "COGS", "COIL", "COKE", "COME", "COST", "COULD", "COVID", "CPAP", + "CPI", "CRA", "CRE", "CRO", "CRV", "CSE", "CSS", "CST", "CTB", "CTEP", + "CTO", "CUCKS", "CULT", "CUV", "CYCLE", "CZK", "DA", "DAILY", "DAO", "DATE", + "DAX", "DAY", "DAYS", "DCA", "DCF", "DD", "DEBT", "DEEZ", "DEMO", "DEX", + "DIA", "DID", "DIDNT", "DIP", "DITM", "DIV", "DIY", "DJIA", "DKK", "DL", + "DM", "DMV", "DNI", "DO", "DOE", "DOES", "DOGE", "DOJ", "DOM", "DONT", + "DOOR", "DOWN", "DPI", "DR", "DUDE", "DUMP", "DUTY", "DYI", "DYNK", "DYODD", + "DYOR", "EACH", "EARLY", "EARN", "EAST", "EASY", "ECB", "EDGAR", "EDIT", "EDT", + "EJ", "EMA", "EMJ", "END", "ENRON", "ENSI", "ENV", "EO", "EOD", "EOW", + "EOY", "EPA", "EPK", "EPS", "ER", "ESG", "ESPP", "EST", "ETA", "ETF", + "ETFS", "ETH", "EU", "EUR", "EV", "EVEN", "EVERY", "EVTOL", "EXTRA", "EYES", + "EZ", "FAANG", "FAFO", "FAQ", "FAR", "FAST", "FBI", "FCFF", "FD", "FDA", + "FEE", "FFH", "FFS", "FGMA", "FIG", "FIGMA", "FIHTX", "FING", "FINRA", "FINT", + "FINTX", "FINTY", "FIRST", "FKIN", "FLT", "FLY", "FML", "FOLO", "FOMC", "FOMO", + "FOR", "FOREX", "FRAUD", "FRG", "FROM", "FSBO", "FSD", "FSELK", "FSPSX", "FTD", + "FTSE", "FUCK", "FUCKS", "FUD", "FULL", "FUND", "FUNNY", "FVG", "FWIW", "FX", + "FXAIX", "FXIAX", "FXROX", "FY", "FYI", "FZROX", "GAAP", "GAIN", "GAVE", "GBP", + "GC", "GDP", "GET", "GG", "GJ", "GL", "GLHF", "GMAT", "GMI", "GMT", + "GO", "GOAL", "GOAT", "GOD", "GOING", "GOLD", "GONE", "GONNA", "GPT", "GPU", + "GRAB", "GREAT", "GREEN", "GST", "GTA", "GTFO", "GTG", "GUH", "GUY", "GUYS", + "HAD", "HAHA", "HALF", "HANDS", "HAS", "HATE", "HAVE", "HBAR", "HCOL", "HEAR", + "HEDGE", "HEGE", "HELD", "HELP", "HEY", "HFCS", "HFT", "HGTV", "HIGH", "HIGHS", + "HINT", "HIS", "HITID", "HKD", "HODL", "HODOR", "HOF", "HOLD", "HOLY", "HOME", + "HOUR", "HOW", "HS", "HSA", "HT", "HTF", "HTML", "HUF", "HUGE", "HYPE", + "IANAL", "IB", "IBS", "ICT", "ID", "IDF", "IDK", "IF", "II", "IKKE", + "IKZ", "IM", "IMHO", "IMI", "IMO", "IN", "INR", "INTO", "IP", "IPO", "IRA", "IRAS", "IRC", "IRISH", "IRS", "IS", "ISA", "ISIN", "ISM", "ISN", - "IST", "IT", "ITM", "ITS", "ITWN", "IUIT", "IV", "IVV", "IWM", "JAVA", - "JD", "JFC", "JK", "JLR", "JMO", "JOIN", "JOKE", "JP", "JPOW", "JPY", - "JS", "JST", "JUN", "JUST", "KARMA", "KEEP", "KNEW", "KNOW", "KO", "KOHLS", - "KPMG", "KRW", "LANGT", "LARGE", "LAST", "LATE", "LATER", "LBO", "LDL", "LEADS", - "LEAP", "LEAPS", "LEARN", "LEI", "LETS", "LFG", "LIFE", "LIG", "LIGMA", "LIKE", - "LIMIT", "LIST", "LLC", "LLM", "LMAO", "LMN", "LOKO", "LOL", "LOLOL", "LONG", - "LOOK", "LOSE", "LOSS", "LOST", "LOVE", "LOW", "LOWER", "LOWS", "LP", "LTCG", - "LUPD", "LYING", "M&A", "MA", "MACD", "MAKE", "MAKES", "MANY", "MAX", "MBA", - "MC", "MCP", "ME", "MEME", "MERGE", "MERK", "MES", "MEXC", "MF", "MFER", - "MID", "MIGHT", "MIN", "MIND", "ML", "MLB", "MM", "MNQ", "MOASS", "MOM", - "MONEY", "MONTH", "MONY", "MOON", "MORE", "MOU", "MSK", "MUCH", "MUSIC", "MUST", - "MXN", "MY", "MYMD", "NASA", "NATO", "NBA", "NCAN", "NCR", "NEAR", "NEAT", - "NEED", "NEVER", "NEW", "NEWS", "NEXT", "NFA", "NFC", "NFL", "NFT", "NGMI", - "NIGHT", "NIQ", "NK", "NO", "NOK", "NONE", "NOPE", "NORTH", "NOT", "NOVA", - "NOW", "NQ", "NSA", "NTVS", "NULL", "NUT", "NUTS", "NUTZ", "NVM", "NW", - "NY", "NYSE", "NZ", "NZD", "OBBB", "OBI", "OBV", "OCF", "OCO", "OEM", - "OF", "OFA", "OFF", "OG", "OH", "OK", "OKAY", "OLD", "OMFG", "OMG", - "ON", "ONE", "ONLY", "OP", "OPEC", "OPENQ", "OPEX", "OPRN", "OR", "ORB", - "OS", "OSCE", "OT", "OTC", "OTM", "OUCH", "OUGHT", "OUT", "OVER", "OWN", - "PA", "PANIC", "PC", "PDT", "PE", "PEAK", "PEG", "PETA", "PEW", "PFC", - "PGHL", "PITA", "PLAN", "PLAYS", "PLN", "PM", "PMI", "PNL", "POC", "POMO", - "POP", "POS", "POSCO", "POV", "POW", "PPI", "PR", "PRICE", "PROFIT", "PS", - "PSA", "PST", "PT", "PTD", "PUSSY", "PUT", "PWC", "Q1", "Q2", "Q3", - "Q4", "QE", "QED", "QIMC", "QQQ", "QR", "RAM", "RATM", "RBA", "RBNZ", - "RE", "REACH", "READY", "REAL", "RED", "REIT", "REITS", "REKT", "RFK", "RH", - "RICO", "RIDE", "RIGHT", "RIP", "RISK", "RISKY", "ROCE", "ROCK", "ROE", "ROFL", - "ROI", "ROIC", "ROTH", "RRSP", "RSD", "RSI", "RT", "RTD", "RUB", "RUG", - "RULE", "RUST", "RVOL", "SAGA", "SALES", "SAME", "SAVE", "SAYS", "SBF", "SBLOC", - "SCALP", "SCAM", "SCHB", "SCIF", "SEC", "SEE", "SEK", "SELL", "SELLL", "SEP", - "SET", "SGD", "SHALL", "SHARE", "SHELL", "SHIT", "SHORT", "SHTF", "SI", "SIGN", - "SL", "SLIM", "SLOW", "SMA", "SMALL", "SO", "SOLIS", "SOME", "SOON", "SOUTH", - "SP", "SPAC", "SPDR", "SPEND", "SPLG", "SPX", "SPY", "SS", "START", "STAY", - "STEEL", "STILL", "STOCK", "STOOQ", "STOP", "STOR", "STQQQ", "STUCK", "STUDY", "SUS", - "SUV", "SWIFT", "SWING", "TA", "TAG", "TAKE", "TAM", "TBTH", "TEAMS", "TERM", - "TF", "TFSA", "THANK", "THAT", "THATS", "THE", "THEIR", "THEN", "THERE", "THESE", - "THEY", "THING", "THINK", "THIS", "TIA", "TIKR", "TIME", "TITS", "TJR", "TL", - "TL;DR", "TLDR", "TO", "TODAY", "TOLD", "TOS", "TOT", "TOTAL", "TP", "TRADE", - "TREND", "TRUE", "TRUMP", "TRUST", "TRY", "TSA", "TSP", "TSX", "TSXV", "TTM", - "TTYL", "TWO", "UCITS", "UGH", "UI", "UK", "UNDER", "UNTIL", "UP", "US", - "USA", "USD", "USSR", "UTC", "VALID", "VALUE", "VERY", "VFMXX", "VFV", "VIX", - "VLI", "VOO", "VP", "VR", "VRVP", "VSUS", "VTI", "VUAG", "VW", "VWAP", - "VXN", "VXUX", "WAGMI", "WAIT", "WALL", "WANT", "WATCH", "WAY", "WE", "WEB3", - "WEEK", "WEST", "WHALE", "WHAT", "WHEN", "WHICH", "WHO", "WHOS", "WHY", "WIDE", - "WILL", "WIRE", "WIRED", "WITH", "WL", "WON", "WOOPS", "WORDS", "WORTH", "WOULD", - "WP", "WRONG", "WSB", "WSJ", "WTF", "WV", "WWII", "WWIII", "XCUSE", "XD", - "XEQT", "XMR", "XO", "XRP", "XX", "YEAH", "YEET", "YES", "YET", "YIELD", - "YM", "YMMV", "YOLO", "YOU", "YOUR", "YOY", "YT", "YTD", "YUGE", "ZAR", - "ZEN", "ZERO" + "IST", "IT", "ITC", "ITM", "ITS", "ITWN", "IUIT", "IV", "IVV", "IWM", + "IXL", "JAVA", "JD", "JFC", "JK", "JLR", "JMO", "JOIN", "JOKE", "JP", + "JPOW", "JPY", "JS", "JST", "JUN", "JUST", "KARMA", "KEEP", "KILL", "KING", + "KNEW", "KNOW", "KO", "KOHLS", "KPMG", "KRW", "LANGT", "LARGE", "LAST", "LATE", + "LATER", "LBO", "LCS", "LDL", "LEADS", "LEAP", "LEAPS", "LEARN", "LEI", "LET", + "LETS", "LFG", "LFP", "LIFE", "LIG", "LIGMA", "LIKE", "LIMIT", "LIST", "LLC", + "LLM", "LMAO", "LMM", "LMN", "LOKO", "LOL", "LOLOL", "LONG", "LOOK", "LOSE", + "LOSS", "LOST", "LOVE", "LOW", "LOWER", "LOWS", "LP", "LTCG", "LUPD", "LYING", + "M&A", "MA", "MACD", "MAKE", "MAKES", "MANY", "MAX", "MBA", "MC", "MCAP", + "MCP", "ME", "MEME", "MERGE", "MERK", "MES", "MEXC", "MF", "MFER", "MID", + "MIGHT", "MIN", "MIND", "ML", "MLB", "MLS", "MM", "MNQ", "MOASS", "MOM", + "MONEY", "MONTH", "MONY", "MOON", "MORE", "MOU", "MSK", "MTVGA", "MUCH", "MUSIC", + "MUST", "MXN", "MY", "MYMD", "NASA", "NASDA", "NATO", "NAV", "NBA", "NCAN", + "NCR", "NEAR", "NEAT", "NEED", "NEVER", "NEW", "NEWS", "NEXT", "NFA", "NFC", + "NFL", "NFT", "NGMI", "NIGHT", "NIQ", "NK", "NO", "NOK", "NONE", "NOPE", + "NORTH", "NOT", "NOVA", "NOW", "NQ", "NSA", "NTVS", "NULL", "NUT", "NUTS", + "NUTZ", "NVM", "NW", "NY", "NYSE", "NZ", "NZD", "OBBB", "OBI", "OBS", + "OBV", "OCF", "OCO", "ODAT", "OEM", "OF", "OFA", "OFF", "OG", "OH", + "OK", "OKAY", "OLD", "OMFG", "OMG", "ON", "ONE", "ONLY", "OP", "OPEC", + "OPENQ", "OPEX", "OPRN", "OR", "ORB", "OS", "OSCE", "OT", "OTC", "OTM", + "OUCH", "OUGHT", "OUT", "OVER", "OWN", "PA", "PANIC", "PC", "PDT", "PE", + "PEAK", "PEG", "PETA", "PEW", "PFC", "PGHL", "PIMCO", "PITA", "PLAN", "PLAYS", + "PLN", "PM", "PMI", "PNL", "POC", "POMO", "POP", "POS", "POSCO", "POTUS", + "POV", "POW", "PPI", "PR", "PRICE", "PROFIT", "PROXY", "PS", "PSA", "PST", + "PT", "PTD", "PUSSY", "PUT", "PWC", "Q1", "Q2", "Q3", "Q4", "QE", + "QED", "QIMC", "QQQ", "QR", "RAM", "RATM", "RBA", "RBNZ", "RE", "REACH", + "READY", "REAL", "RED", "REIT", "REITS", "REKT", "RFK", "RH", "RICO", "RIDE", + "RIGHT", "RIP", "RISK", "RISKY", "ROCE", "ROCK", "ROE", "ROFL", "ROI", "ROIC", + "ROTH", "RRSP", "RSD", "RSI", "RT", "RTD", "RUB", "RUG", "RULE", "RUST", + "RVOL", "SAGA", "SALES", "SAME", "SAVE", "SAYS", "SBF", "SBLOC", "SC", "SCALP", + "SCAM", "SCHB", "SCIF", "SEC", "SEE", "SEK", "SELL", "SELLL", "SEP", "SESG", + "SET", "SGD", "SHALL", "SHARE", "SHELL", "SHIT", "SHORT", "SHOW", "SHTF", "SI", + "SIGN", "SL", "SLIM", "SLOW", "SMA", "SMALL", "SO", "SOLIS", "SOME", "SOON", + "SOUTH", "SP", "SPAC", "SPDR", "SPEND", "SPLG", "SPX", "SPY", "SS", "START", + "STAY", "STEEL", "STFU", "STILL", "STOCK", "STOOQ", "STOP", "STOR", "STQQQ", "STUCK", + "STUDY", "SUS", "SUV", "SWIFT", "SWING", "TA", "TAG", "TAKE", "TAM", "TBTH", + "TEAMS", "TED", "TERM", "TEXT", "TF", "TFNA", "TFSA", "THANK", "THAT", "THATS", + "THE", "THEIR", "THEM", "THEN", "THERE", "THESE", "THEY", "THING", "THINK", "THIS", + "TIA", "TIKR", "TIME", "TINA", "TITS", "TJR", "TL", "TL;DR", "TLDR", "TO", + "TODAY", "TOLD", "TOO", "TOS", "TOT", "TOTAL", "TP", "TRADE", "TREND", "TRUE", + "TRUMP", "TRUST", "TRY", "TSA", "TSP", "TSX", "TSXV", "TTM", "TTYL", "TWO", + "UAW", "UCITS", "UGH", "UI", "UK", "UNDER", "UNTIL", "UP", "US", "USA", + "USD", "USSA", "USSR", "UTC", "VALID", "VALUE", "VAMOS", "VERY", "VFMXX", "VFV", + "VI", "VIX", "VLI", "VOO", "VP", "VR", "VRVP", "VSUS", "VTI", "VUAG", + "VW", "VWAP", "VWCE", "VXN", "VXUX", "WAGMI", "WAIT", "WALL", "WANT", "WATCH", + "WAY", "WE", "WEB3", "WEEK", "WENT", "WEST", "WHALE", "WHAT", "WHEN", "WHERE", + "WHICH", "WHO", "WHOS", "WHY", "WIDE", "WILL", "WIRE", "WIRED", "WITH", "WL", + "WON", "WOOPS", "WORDS", "WORTH", "WOULD", "WP", "WRONG", "WSB", "WSJ", "WTF", + "WV", "WWII", "WWIII", "X", "XCUSE", "XD", "XEQT", "XMR", "XO", "XRP", + "XX", "YEAH", "YEET", "YES", "YET", "YIELD", "YM", "YMMV", "YOLO", "YOU", + "YOUR", "YOY", "YT", "YTD", "YUGE", "ZAR", "ZEN", "ZERO", "ZEVDXY" } def extract_tickers(text):