Эту тему можно назвать дополнением к моей прошлой теме про чекер токенов
Так вот, на сей раз речь пойдет о мастхеве для скупов токенов, а именно я поделюсь кодом, который будет удалять дубликаты и сверять ваши токены с некой базой данных, которую вы создадите сами.
Первым делом, разумеется, качаем python
Необязательно эту версию, можно и поновее
Сам код можно скачать с яндекс диска
Создаём файл alltokens.txt и грузим туда все наши токены (создаём бд, с которой софт будет сверять ваши токены)
Создаём файл tokens.txt и грузим туда токены, которые хотим проверить на совпадение с бд + удалить оттуда дубликаты.
Создаём файл parsed.txt и оставляем его пустым, туда будет сохраняться результат.
Софт готов к использованию!
Продублирую код сюда с разъяснениями
Код Python:
Код
#удаление дубликатов
file ='tokens.txt' #задаёт значение переменной
uniqlines = set(open(file,'r', encoding='utf-8').readlines()) #открывает файл и читает
gotovo = open(file,'w', encoding='utf-8').writelines(set(uniqlines)) #удаляет все дубликаты[/FONT]
#сверяем токены с бд
with open('alltokens.txt') as f1, open('tokens.txt') as f2, open('parsed.txt', 'w') as outf: #открывает нашу "базу данных", файл с новыми токенами и файл, в который все это сохранится
s1, s2 = set(f1.readlines()), set(f2.readlines()) #читает файлы
for line in s2 - s1: #убирает неуникальные токены
outf.write(line) #записывает их
with open('parsed.txt') as f: #ну и разумеется считает кол-во строчек в исходном файле
line_count = 0
for line in f:
line_count += 1
print(f'{line_count} unique tokens were saved to parsed.txt') #вывод кол-ва сохраненных токенов
input() #чтобы прога не закрывалась
Надеюсь, вам пригодится
