Какие вопросы задают на собеседовании в Точка Банк (ml, middle)?

Question

Маяк · Accepted Answer

1. Расскажите про ваш опыт работы (кандидат рассказал про 2 года разработки платформы прогнозной аналитики в медицине: извлечение признаков из неструктурированных текстов, fasttext, BERT, обучение своего BERT на медицинских текстах)
2. Это был ваш собственный продукт или вы делали его на аутсорс для клиник?
3. Чем был обоснован выбор F-меры как метрики для отбора признаков? Почему именно она?
4. Не было ли такого, что precision был важнее recall или наоборот, как часто бывает в медицинских задачах?
5. Где начинается и где заканчивается твоя зона ответственности: что вы делали с моделью дальше после обучения?
6. Анализ полезности итогового решения лежал на вас или на отдельной команде?
7. Получилось ли выразить результат работы в численных бизнесовых метриках?
8. Какие типы данных есть в Python?
9. Зачем вообще нужны изменяемые и неизменяемые типы данных? Зачем иметь и tuple, и list?
10. Может ли список быть ключом в словаре в Python?
11. Что произойдёт, если добавить списку метод __hash__ (например, return 1) и сделать такой список ключом в словаре?
12. Как обрабатываются коллизии в хэш-таблицах?
13. Какая сложность доступа по ключу в словаре?
14. Как изменится сложность доступа по ключу в словаре, если у всех ключей одинаковый хэш (все ключи — списки с hash, возвращающим 1)?
15. Приходилось ли распараллеливать работу в Python? Как вообще можно распараллелить вычисления?
16. Чем мультипоточность отличается от мультипроцессорности?
17. Если на одноядерном компьютере начать обучать random forest на 100 потоках — ускорит ли это обучение?
18. Зачем тогда вообще нужны потоки? В каком случае потоки могут дать ускорение?
19. Какие джойны существуют в SQL?
20. Что такое cross join?
21. Что будет, если в inner join вместо условия связи написать ON 1=1?
22. Есть две таблицы: одна с двумя строками, другая с тремя. Делаешь join — какое минимальное и максимальное количество строк может получиться?
23. Что получится при left join двух таблиц по столбцу, в котором стоят NULL? Как джойнятся NULL?
24. Оконные функции: можно ли написать SUM(value) OVER () с пустыми скобками, и что это будет означать?
25. Что можно писать в скобках после OVER в оконной функции?
26. Что такое ROC-AUC? Расскажи про эту метрику.
27. Что ты имел в виду, говоря что ROC-AUC — это ранжирующая метрика?
28. Если округлить предсказания модели до какого-то знака после запятой, как изменится ROC-AUC — может ли он измениться, в какую сторону и почему?
29. Какие метрики регрессии ты знаешь?
30. При выборе метрики между MAE и MSE на что бы ты опирался?
31. Что такое метрика R² (доля объяснённой дисперсии)?
32. Чем отличается MAPE от SMAPE? Что такое каждая из них?
33. Почему в F1-мере используется среднее гармоническое precision и recall, а не, например, среднее арифметическое?
34. Верно ли, что среднее гармоническое всегда меньше среднего арифметического?
35. Какие модели ты использовал для работы с табличными данными (классический ML)?
36. Бустинги на табличных данных бьют все остальные классические модели — согласен с этим утверждением или нет, и почему?
37. В каких случаях имеет смысл учить линейную модель вместо бустинга?
38. Если предсказываемая величина имеет линейно-возрастающий тренд (например, из-за инфляции) — будут ли бустинги нормально работать?
39. Обучающая выборка содержит только положительные значения таргета (регрессия). Может ли random forest предсказать отрицательное значение на тестовой выборке? А бустинг?
40. Расскажи верхнеуровнево, как устроен трансформер.
41. Что такое attention и как он работает внутри (query, key, value)?
42. Зачем в attention делить произведение Q и K на корень из размерности эмбеддингов?
43. Чем будет различаться выход softmax, если на вход подать (10, 100) и (1, 10)?
44. Что ещё есть в блоке энкодера трансформера, кроме attention?
45. Зачем нужен skip connection?
46. Как в трансформерах учитываются позиции слов? Расскажи про позиционные эмбеддинги: какие требования к ним и какие виды бывают?
47. Что такое BERT и как его обучают?
48. Приведи пример, когда имеет смысл обучить свой токенайзер и заменить стандартный.
49. Ты учишь нейросеть и увеличиваешь размер батча. Что при этом логичнее сделать с learning rate — увеличить или уменьшить, и почему?
50. Какие ты знаешь способы ускорения инференса нейронных сетей?