Wiki - Факультет компьютерных наук - Вклад [ru]

Data analysis (Software Engineering)

2016-05-20T11:33:50Z

Sbartunov: /* Seminars */

'''Scores and deadlines: [https://drive.google.com/open?id=1TQ97B8rqC7sUxTnCMKXoskgRPXO8rAyWoBWBezY58h4 here]'''

'''Class email:''' cshse.ml@gmail.com

'''Anonymous feedback form:''' [http://goo.gl/forms/CT3h4QaMeB here]
 

== Course description ==
In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.

A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.

The knowledge of linear algebra, real analysis and probability theory is required.

'''The class consists of:'''
# Lectures and seminars
# Practical and theoretical homework assignments
# A machine learning competition (more information will be available later)
# Midterm theoretical colloquium
# Final exam

==Kaggle competition==

[https://kaggle.com/join/hse_fcs Participate]

== Events outside the course ==

[https://it.mail.ru/announcements/36/?utm_campaign=newsletter&utm_medium=email&utm_source=newsletter_2742016df Universal recomendation system of mail.ru]

[https://www.youtube.com/channel/UCeq6ZIlvC9SVsfhfKnSvM9w Description of solutions to different competitions on Kaggle]

[http://ria.ru/science/20160514/1432666353.html Neural networks adapt videos to the painting style of famous artists.]

== Syllabus ==

# Introduction to machine learning.
# K-nearest neighbours classification and regression. Extensions. Optimization techniques.
# Decision tree methods.
# Bayesian decision theory. Model evaluation:
# Linear classification methods. Adding regularization to linear methods.
# Regression.
# Kernel generalization of standard methods.
# Neural networks.
# Ensemble methods: bagging, boosting, etc.
# Feature selection.
# Feature extraction
# EM algorithm. Density estimation using mixtures.
# Clustering
# Collaborative filtering
# Ranking

== Lecture materials ==

'''Lecture 1. Introduction to data science and machine learning. '''

[https://yadi.sk/i/RajIebEkmqgzw Download]

Additional materials: [https://yadi.sk/i/x2lrKdbVmr2bf The Field Guide to Data Science], [http://www.machinelearning.ru/wiki/images/f/fc/Voron-ML-Intro-slides.pdf Лекция К.В.Воронцова]

'''Lecture 2. K nearest neighbours method. '''

[https://yadi.sk/i/Od8HM9h-nUWob Download]

Additional materials: [http://www.machinelearning.ru/wiki/images/c/c3/Voron-ML-Metric-slides.pdf Лекция К.В.Воронцова], [http://arxiv.org/pdf/1306.6709v4.pdf Metric learning survey]

'''Lecture 3. Decision trees. '''

[https://yadi.sk/i/-vPl2vaBqXrt5 Download]

Additional materials: ''Webb, Copsey "Statistical Pattern Recognition", chapter 7.2.''

'''Lecture 4a. Model evaluation. '''

Binary quality measures. ROC curve, AUC.

[https://yadi.sk/i/7V7U_1QtnfYZQ Download]

Additional materials: ''Webb, Copsey "Statistical Pattern Recognition", chapter 9.''

'''Lecture 4b. Bayes minimum cost classification. '''

Case of general losses, common within-class losses and 0,1 losses. Gaussian classifier.

[https://yadi.sk/i/6jIvLiYMosuz5 Download]

'''Lecture 5. Linear classifiers. '''

Discriminant function. Invariance to monotonous transformations for them. Definition for multi-class and binary class cases.

[https://yadi.sk/i/0IQ6P3LDoqpRk Download]

Additional materials: [http://www.machinelearning.ru/wiki/images/5/53/Voron-ML-Lin-SG.pdf Лекции К.В.Воронцова по линейным методам классификации]

'''Lecture 6. Support vector machines. '''

Linear separable and linearly non-separable case. Equivalent definition with loss function. Support vectors and non-informative vectors.

[https://yadi.sk/i/baP7gbWXoqpTE Download]

'''Lecture 7. Kernel trick. '''

Application of kernel trick to SVM. Gaussian, polynomial kernels.

[https://yadi.sk/i/3W6A9FmZoqpU9 Download]

'''Lecture 8. Regression. '''

Linear regression and extensions: weighted regression, robust regression, different loss-functions, regression with non-linear features, locally-constant (Nadaraya-Watson) regression.

[https://yadi.sk/i/HSp51pmepjQBq Download]

'''Lecture 9. Boosting. '''

Forward stagewise additive modelling. AdaBoost. Gradient boosting.

[https://yadi.sk/i/3yTKLDcCpjLhG Download]

Additional materials:

[http://statweb.stanford.edu/~tibs/ElemStatLearn/ Friedman, Hastie, Tibshirani "The Elements of Statistical Learning"] - section 10: Boosting and additive trees.,

[http://www.recognition.mccme.ru/pub/RecognitionLab.html/slbook.pdf Мерков "Введение в методы статистического обучения"] - секция 4: Линейные комбинации распознавателей.

'''Lecture 10. Ensemble methods. '''

Motivation. Bias-variance tradeoff. Bagging, RandomForest, ExtraRandomTrees. Stacking.

[https://yadi.sk/i/8E-wZxIpq9Sgf Download]

'''Lectures 11, 12. Summary. '''

'''Lecture 13. Feature selection. '''

[https://yadi.sk/i/2ZLC3J6dr3iAc Download]

'''Lecture 14. Principal components analysis. '''

[https://yadi.sk/i/6DxoScrKrN3LK Download]

'''Lecture 14. Singular values decomposition. '''

[https://yadi.sk/i/zwJftdkUrN6Td Download]

'''Lecture 15. Working with text. '''

[https://yadi.sk/i/YqdRr-0erEXba Download]

'''Lecture 16. Neural networks. '''

[https://yadi.sk/i/9yMM7mkrrEXbc Download]

'''Lecture 17. Parametric distributions. '''

[https://yadi.sk/i/D33hdVXTrkxDN Download]

'''Lecture 18. Clustering. '''

[https://yadi.sk/i/3DJY4Oo7rkxEW Download]

'''Lecture 19. Mixture densities, EM-algorithm. '''

[https://yadi.sk/i/22wLOL2krkxGL Download]

== Seminars ==

'''Seminar 1. Introduction to Data Analysis in Python '''

[https://drive.google.com/open?id=0B7TWwiIrcJstdkJyam9rNHpEcDg Practical task 1], [https://drive.google.com/open?id=0B7TWwiIrcJstQldxcThZRnF3ZVk data]

Additional materials: [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]

'''Seminar 2. kNN '''

[https://drive.google.com/open?id=0B7TWwiIrcJstbGRxREhGeDBNd3M Theoretical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstNXVXYTcydUMzUUk Practical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstTXUyYUstMmJNckk data]

Additional materials: [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Visualization tutorial]

'''Seminar 3. Decision trees '''

[https://drive.google.com/file/d/0B7TWwiIrcJstbmFmMmE5bWh2Y28/view?usp=sharing Theoretical task 3]

'''Seminar 4. Linear classifiers '''

[https://drive.google.com/file/d/0B7TWwiIrcJstc1J4SnRWTnlxZlE/view?usp=sharing Theoretical task 4], [https://drive.google.com/file/d/0B7TWwiIrcJstckZCN1pYcEo2NW8/view?usp=sharing Practical task 4], [https://drive.google.com/file/d/0B7TWwiIrcJstM3VSQTVrYWhqYk0/view?usp=sharing first dataset], [https://drive.google.com/file/d/0B7TWwiIrcJstN0VOUV9PcDc1ZlE/view?usp=sharing diabetes dataset]

UPD: At all parts of practical task 4 you should use GD and SGD functions that you program at the fisrt part!

''Deadline for this practical task has been changed for some groups! Check it in the table!''

'''Seminar 5. Model evaluation '''

[https://drive.google.com/file/d/0B7TWwiIrcJstdTFST0Z4UkRoaEk/view?usp=sharing Theoretical task 5]

'''Seminar 6. Bayesian decision rule '''

[https://drive.google.com/file/d/0B7TWwiIrcJstWF9zcllDU01ZY2M/view?usp=sharing Theoretical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstSHRKcFlVcy1xd3M/view?usp=sharing Practical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstVlhBdGZYMm94SHc/view?usp=sharing data]

Practical task 6 was completed: the last part was described in more details + there are two small corrections in the first part (they are in bold font). Read it carefully!

'''Deadline for this practical task has been changed for all groups! Check it in the table!'''

'''Seminar 7. SVM and kernel trick '''

[https://drive.google.com/file/d/0B7TWwiIrcJstUGhEX2QxV1gycDA/view?usp=sharing Theoretical task 7]

Additional materials: [http://www.ccas.ru/voron/download/SVM.pdf Лекция К.В. Воронцова по SVM]

'''Seminar 8. Regression '''

[https://drive.google.com/file/d/0B7TWwiIrcJstNkE0dVJscGFSOEE/view?usp=sharing Theoretical task 8]

'''Seminar 9. Boosting '''

[https://drive.google.com/file/d/0B7TWwiIrcJstVkx2Z0tGbi1yNFE/view?usp=sharing Practical task 9],
[https://drive.google.com/file/d/0B7TWwiIrcJstelRydjBUcUlleUk/view?usp=sharing data]

'''Seminar 10. Ensemble methods '''

[https://drive.google.com/file/d/0B7TWwiIrcJstR28zVlN3OUZJTEU/view?usp=sharing Theoretical task 10]

''Problem 2: a small typo was corrected in the loss function formula.''

'''Seminar 11. Summary'''

'''Seminar 12. How to solve practical problems'''

[https://inclass.kaggle.com/c/cmc-msu-machine-learning-spring-2015-2016-dota-competition Dota Competition from the seminar], [https://drive.google.com/file/d/0B7TWwiIrcJstVnF0RVkzc1c1TVE/view?usp=sharing ipython notebook]

'''Seminar 13. Feature selection'''

[https://drive.google.com/file/d/0B7TWwiIrcJstTUU4OGFnQzBPa3c/view?usp=sharing Theoretical task 13], [https://drive.google.com/file/d/0B7TWwiIrcJstM3JkWnhtQ2YzZms/view?usp=sharing Practical task 13]

''Practical task is completed.''

'''Seminar 14. Feature extraction'''

You can read about computing PCA through SVD at the end of [https://drive.google.com/file/d/0B7TWwiIrcJstWFFSOUI5aTRBM00/view?usp=sharing this paper].

'''Seminar 15. Neural networks'''

[https://drive.google.com/file/d/0B0s4HdnpuPdxbk4yeXZyVi10dVE/view?usp=sharing Practical task 15],
[https://www.dropbox.com/s/r0u3xh5ybtstw9c/mnist.zip?dl=0 Data],
[https://drive.google.com/file/d/0B7TWwiIrcJstX1FzMWhQdmdGekk/view?usp=sharing Data in csv format],
[https://drive.google.com/file/d/0B0QWEJMlsxfRS2lWSkR5LVc2MzA/view?usp=sharing Censored training set],
[https://drive.google.com/file/d/0B0QWEJMlsxfRZmlHVHdlYWdQSTQ/view?usp=sharing Theoretical task 15]

Additional materials: [https://drive.google.com/file/d/0B7TWwiIrcJstd3pOWjcwUUNOaUk/view?usp=sharing Backpropagation], [http://pybrain.org/docs/ PyBrain’s documentation], [https://drive.google.com/file/d/0B7TWwiIrcJstSGp0SzNTa1RJeTQ/view?usp=sharing PyBrain example from the seminar]

''New data files have been uploaded (there were some problems with reading old ones). Therefore deadline has been changed for some groups! Check it in the table!''

If you have MemoryError then read only part of training data from csv files (for example, 30000 objects). You can download '''censored training set''' (find link above) or use the following code:

mnist_train = np.loadtxt('mnist_train.csv', delimiter=',') 
train_data = ClassificationDataSet(28*28, nb_classes=10) 
for i in xrange(len(mnist_train)): 
:train_data.appendLinked(mnist_train[i, 1:] / 255., int(mnist_train[i, 0])) 
train_data._convertToOneOfMany() 

mnist_test = np.loadtxt('mnist_test.csv', delimiter=',') 
test_data = ClassificationDataSet(28*28, nb_classes=10) 
for i in xrange(len(mnist_test)): 
:test_data.appendLinked(mnist_test[i, 1:] / 255., int(mnist_test[i, 0])) 
test_data._convertToOneOfMany()

'''Seminar 16. Clustering'''

[https://drive.google.com/file/d/0B0QWEJMlsxfRRy1fd1RNVVhpMm8/view?usp=sharing Theoretical task 16], [https://drive.google.com/file/d/0B7TWwiIrcJstM1l5M3kwNDFZQlU/view?usp=sharing Practical task 16], [https://drive.google.com/file/d/0B7TWwiIrcJstZ2xIRU00dTB0OHc/view?usp=sharing parrots.jpg], [https://drive.google.com/file/d/0B7TWwiIrcJstb0RDc0RiQ1M3OXc/view?usp=sharing grass.jpg]

'''Seminar 17. Clustering, EM-algorithm'''

[https://drive.google.com/file/d/0B0s4HdnpuPdxLWJjUEtCVVNFa00/view?usp=sharing Theoretical task 17]

== Evaluation criteria ==
The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.

Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:

* '''score''' ≥ 35% => 4,
* '''score''' ≥ 45% => 5,
* ...
* '''score''' ≥ 95% => 10,

where '''score''' is calculated using the following rule:

'''score''' = 0.6 * Shomework + 0.2 * Sexam1 + 0.2 * Sexam2 + 0.2 * Scompetition

* Shomework – proportion of correctly solved homework,
* Sexam1 – proportion of successfully answered theoretical questions during exam after module 3,
* Sexam2 – proportion of successfully answered theoretical questions during exam after module 4,
* Scompetition – score for the competition in machine learning (it's also from 0 to 1).

Participation in machine learning competition is optional and can give students extra points.

== Plagiarism ==
In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.

== Deadlines ==

All the deadlines can be found in the second tab [https://drive.google.com/open?id=1TQ97B8rqC7sUxTnCMKXoskgRPXO8rAyWoBWBezY58h4 here].

We have two deadlines for each assignments: normal and late. An assignment sent prior to normal deadline is scored with no penalty. The maximum score is penalized by 50% for assignments sent in between of the normal and the late deadline. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes.

Standard period for working on a homework assignment is 2 and 4 weeks (normal and late deadlines correspondingly) for practical assignments and 1 and 2 weeks for theoretical ones. The first practical assignment is an exception.

'''Deadline time:''' 23:59 of the day before seminar (Sunday for students attending Monday seminars and Wednesday for students that have seminars on Thursday).

== Structure of emails and homework submissions ==
All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.
The following subjects must be used:
* For ''questions'' (general, regarding assignments, etc): "Question - Surname Name - Group(subgroup)"
* For ''homework submissions'': "Practice/Theory {Lab number} - Surname Name - Group(subgroup)"

''Example'': Practice 1 - Ivanov Ivan - 131(1)

If you want to address a particular teacher, mention his name in the subject.

''Example'': Question - Ivanov Ivan - 131(1) - Ekaterina

Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).

Practical assignments must be implemented in ipython notebook format, theoretical ones in pdf. Practical assignments must use '''Python 2.7'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.

Assignments can be performed in either Russian or English.

'''Assignments can be submitted only once!'''

== Useful links ==
=== Machine learning ===
* [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]
* On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]

=== Python ===
* [http://python.org Official website]
* Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].
* A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]
* Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]
* Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]
* A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]
* [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]

=== Python installation and configuration ===
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]

Data analysis (Software Engineering)

2016-05-10T03:10:42Z

Sbartunov:

'''Scores and deadlines: [https://drive.google.com/open?id=1TQ97B8rqC7sUxTnCMKXoskgRPXO8rAyWoBWBezY58h4 here]'''

'''Class email:''' cshse.ml@gmail.com

'''Anonymous feedback form:''' [http://goo.gl/forms/CT3h4QaMeB here]
 

== Course description ==
In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.

A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.

The knowledge of linear algebra, real analysis and probability theory is required.

'''The class consists of:'''
# Lectures and seminars
# Practical and theoretical homework assignments
# A machine learning competition (more information will be available later)
# Midterm theoretical colloquium
# Final exam

==Kaggle competition==

[https://kaggle.com/join/hse_fcs Participate]

== Events outside the course ==

[https://it.mail.ru/announcements/36/?utm_campaign=newsletter&utm_medium=email&utm_source=newsletter_2742016df Universal recomendation system of mail.ru]

[https://www.youtube.com/channel/UCeq6ZIlvC9SVsfhfKnSvM9w Description of solutions to different competitions on Kaggle]

== Syllabus ==

# Introduction to machine learning.
# K-nearest neighbours classification and regression. Extensions. Optimization techniques.
# Decision tree methods.
# Bayesian decision theory. Model evaluation:
# Linear classification methods. Adding regularization to linear methods.
# Regression.
# Kernel generalization of standard methods.
# Neural networks.
# Ensemble methods: bagging, boosting, etc.
# Feature selection.
# Feature extraction
# EM algorithm. Density estimation using mixtures.
# Clustering
# Collaborative filtering
# Ranking

== Lecture materials ==

'''Lecture 1. Introduction to data science and machine learning. '''

[https://yadi.sk/i/RajIebEkmqgzw Download]

Additional materials: [https://yadi.sk/i/x2lrKdbVmr2bf The Field Guide to Data Science], [http://www.machinelearning.ru/wiki/images/f/fc/Voron-ML-Intro-slides.pdf Лекция К.В.Воронцова]

'''Lecture 2. K nearest neighbours method. '''

[https://yadi.sk/i/Od8HM9h-nUWob Download]

Additional materials: [http://www.machinelearning.ru/wiki/images/c/c3/Voron-ML-Metric-slides.pdf Лекция К.В.Воронцова], [http://arxiv.org/pdf/1306.6709v4.pdf Metric learning survey]

'''Lecture 3. Decision trees. '''

[https://yadi.sk/i/-vPl2vaBqXrt5 Download]

Additional materials: ''Webb, Copsey "Statistical Pattern Recognition", chapter 7.2.''

'''Lecture 4a. Model evaluation. '''

Binary quality measures. ROC curve, AUC.

[https://yadi.sk/i/7V7U_1QtnfYZQ Download]

Additional materials: ''Webb, Copsey "Statistical Pattern Recognition", chapter 9.''

'''Lecture 4b. Bayes minimum cost classification. '''

Case of general losses, common within-class losses and 0,1 losses. Gaussian classifier.

[https://yadi.sk/i/6jIvLiYMosuz5 Download]

'''Lecture 5. Linear classifiers. '''

Discriminant function. Invariance to monotonous transformations for them. Definition for multi-class and binary class cases.

[https://yadi.sk/i/0IQ6P3LDoqpRk Download]

Additional materials: [http://www.machinelearning.ru/wiki/images/5/53/Voron-ML-Lin-SG.pdf Лекции К.В.Воронцова по линейным методам классификации]

'''Lecture 6. Support vector machines. '''

Linear separable and linearly non-separable case. Equivalent definition with loss function. Support vectors and non-informative vectors.

[https://yadi.sk/i/baP7gbWXoqpTE Download]

'''Lecture 7. Kernel trick. '''

Application of kernel trick to SVM. Gaussian, polynomial kernels.

[https://yadi.sk/i/3W6A9FmZoqpU9 Download]

'''Lecture 8. Regression. '''

Linear regression and extensions: weighted regression, robust regression, different loss-functions, regression with non-linear features, locally-constant (Nadaraya-Watson) regression.

[https://yadi.sk/i/HSp51pmepjQBq Download]

'''Lecture 9. Boosting. '''

Forward stagewise additive modelling. AdaBoost. Gradient boosting.

[https://yadi.sk/i/3yTKLDcCpjLhG Download]

Additional materials:

[http://statweb.stanford.edu/~tibs/ElemStatLearn/ Friedman, Hastie, Tibshirani "The Elements of Statistical Learning"] - section 10: Boosting and additive trees.,

[http://www.recognition.mccme.ru/pub/RecognitionLab.html/slbook.pdf Мерков "Введение в методы статистического обучения"] - секция 4: Линейные комбинации распознавателей.

'''Lecture 10. Ensemble methods. '''

Motivation. Bias-variance tradeoff. Bagging, RandomForest, ExtraRandomTrees. Stacking.

[https://yadi.sk/i/8E-wZxIpq9Sgf Download]

'''Lectures 11, 12. Summary. '''

'''Lecture 13. Feature selection. '''

[https://yadi.sk/i/2ZLC3J6dr3iAc Download]

'''Lecture 14. Principal components analysis. '''

[https://yadi.sk/i/6DxoScrKrN3LK Download]

'''Lecture 14. Singular values decomposition. '''

[https://yadi.sk/i/zwJftdkUrN6Td Download]

'''Lecture 15. Working with text. '''

[https://yadi.sk/i/YqdRr-0erEXba Download]

'''Lecture 16. Neural networks. '''

[https://yadi.sk/i/9yMM7mkrrEXbc Download]

== Seminars ==

'''Seminar 1. Introduction to Data Analysis in Python '''

[https://drive.google.com/open?id=0B7TWwiIrcJstdkJyam9rNHpEcDg Practical task 1], [https://drive.google.com/open?id=0B7TWwiIrcJstQldxcThZRnF3ZVk data]

Additional materials: [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]

'''Seminar 2. kNN '''

[https://drive.google.com/open?id=0B7TWwiIrcJstbGRxREhGeDBNd3M Theoretical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstNXVXYTcydUMzUUk Practical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstTXUyYUstMmJNckk data]

Additional materials: [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Visualization tutorial]

'''Seminar 3. Decision trees '''

[https://drive.google.com/file/d/0B7TWwiIrcJstbmFmMmE5bWh2Y28/view?usp=sharing Theoretical task 3]

'''Seminar 4. Linear classifiers '''

[https://drive.google.com/file/d/0B7TWwiIrcJstc1J4SnRWTnlxZlE/view?usp=sharing Theoretical task 4], [https://drive.google.com/file/d/0B7TWwiIrcJstckZCN1pYcEo2NW8/view?usp=sharing Practical task 4], [https://drive.google.com/file/d/0B7TWwiIrcJstM3VSQTVrYWhqYk0/view?usp=sharing first dataset], [https://drive.google.com/file/d/0B7TWwiIrcJstN0VOUV9PcDc1ZlE/view?usp=sharing diabetes dataset]

UPD: At all parts of practical task 4 you should use GD and SGD functions that you program at the fisrt part!

''Deadline for this practical task has been changed for some groups! Check it in the table!''

'''Seminar 5. Model evaluation '''

[https://drive.google.com/file/d/0B7TWwiIrcJstdTFST0Z4UkRoaEk/view?usp=sharing Theoretical task 5]

'''Seminar 6. Bayesian decision rule '''

[https://drive.google.com/file/d/0B7TWwiIrcJstWF9zcllDU01ZY2M/view?usp=sharing Theoretical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstSHRKcFlVcy1xd3M/view?usp=sharing Practical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstVlhBdGZYMm94SHc/view?usp=sharing data]

Practical task 6 was completed: the last part was described in more details + there are two small corrections in the first part (they are in bold font). Read it carefully!

'''Deadline for this practical task has been changed for all groups! Check it in the table!'''

'''Seminar 7. SVM and kernel trick '''

[https://drive.google.com/file/d/0B7TWwiIrcJstUGhEX2QxV1gycDA/view?usp=sharing Theoretical task 7]

Additional materials: [http://www.ccas.ru/voron/download/SVM.pdf Лекция К.В. Воронцова по SVM]

'''Seminar 8. Regression '''

[https://drive.google.com/file/d/0B7TWwiIrcJstNkE0dVJscGFSOEE/view?usp=sharing Theoretical task 8]

'''Seminar 9. Boosting '''

[https://drive.google.com/file/d/0B7TWwiIrcJstVkx2Z0tGbi1yNFE/view?usp=sharing Practical task 9],
[https://drive.google.com/file/d/0B7TWwiIrcJstelRydjBUcUlleUk/view?usp=sharing data]

'''Seminar 10. Ensemble methods '''

[https://drive.google.com/file/d/0B7TWwiIrcJstR28zVlN3OUZJTEU/view?usp=sharing Theoretical task 10]

''Problem 2: a small typo was corrected in the loss function formula.''

'''Seminar 11. Summary'''

'''Seminar 12. How to solve practical problems'''

[https://inclass.kaggle.com/c/cmc-msu-machine-learning-spring-2015-2016-dota-competition Dota Competition from the seminar], [https://drive.google.com/file/d/0B7TWwiIrcJstVnF0RVkzc1c1TVE/view?usp=sharing ipython notebook]

'''Seminar 13. Feature selection'''

[https://drive.google.com/file/d/0B7TWwiIrcJstTUU4OGFnQzBPa3c/view?usp=sharing Theoretical task 13], [https://drive.google.com/file/d/0B7TWwiIrcJstM3JkWnhtQ2YzZms/view?usp=sharing Practical task 13]

''Practical task is completed.''

'''Seminar 14. Feature extraction'''

You can read about computing PCA through SVD at the end of [https://drive.google.com/file/d/0B7TWwiIrcJstWFFSOUI5aTRBM00/view?usp=sharing this paper].

'''Seminar 15. Neural networks'''

[https://drive.google.com/file/d/0B0s4HdnpuPdxbk4yeXZyVi10dVE/view?usp=sharing Practical task 15],
[https://drive.google.com/file/d/0B0s4HdnpuPdxWjdlMlVWUHRrNkk/view?usp=sharing Data],
[https://drive.google.com/file/d/0B0QWEJMlsxfRZmlHVHdlYWdQSTQ/view?usp=sharing Theoretical task 15]

Additional materials: [https://drive.google.com/file/d/0B7TWwiIrcJstd3pOWjcwUUNOaUk/view?usp=sharing Backpropagation], [http://pybrain.org/docs/ PyBrain’s documentation], [https://drive.google.com/file/d/0B7TWwiIrcJstSGp0SzNTa1RJeTQ/view?usp=sharing PyBrain example from the seminar]

== Evaluation criteria ==
The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.

Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:

* '''score''' ≥ 35% => 4,
* '''score''' ≥ 45% => 5,
* ...
* '''score''' ≥ 95% => 10,

where '''score''' is calculated using the following rule:

'''score''' = 0.6 * Shomework + 0.2 * Sexam1 + 0.2 * Sexam2 + 0.2 * Scompetition

* Shomework – proportion of correctly solved homework,
* Sexam1 – proportion of successfully answered theoretical questions during exam after module 3,
* Sexam2 – proportion of successfully answered theoretical questions during exam after module 4,
* Scompetition – score for the competition in machine learning (it's also from 0 to 1).

Participation in machine learning competition is optional and can give students extra points.

== Plagiarism ==
In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.

== Deadlines ==

All the deadlines can be found in the second tab [https://drive.google.com/open?id=1TQ97B8rqC7sUxTnCMKXoskgRPXO8rAyWoBWBezY58h4 here].

We have two deadlines for each assignments: normal and late. An assignment sent prior to normal deadline is scored with no penalty. The maximum score is penalized by 50% for assignments sent in between of the normal and the late deadline. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes.

Standard period for working on a homework assignment is 2 and 4 weeks (normal and late deadlines correspondingly) for practical assignments and 1 and 2 weeks for theoretical ones. The first practical assignment is an exception.

'''Deadline time:''' 23:59 of the day before seminar (Sunday for students attending Monday seminars and Wednesday for students that have seminars on Thursday).

== Structure of emails and homework submissions ==
All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.
The following subjects must be used:
* For ''questions'' (general, regarding assignments, etc): "Question - Surname Name - Group(subgroup)"
* For ''homework submissions'': "Practice/Theory {Lab number} - Surname Name - Group(subgroup)"

''Example'': Practice 1 - Ivanov Ivan - 131(1)

If you want to address a particular teacher, mention his name in the subject.

''Example'': Question - Ivanov Ivan - 131(1) - Ekaterina

Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).

Practical assignments must be implemented in ipython notebook format, theoretical ones in pdf. Practical assignments must use '''Python 2.7'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.

Assignments can be performed in either Russian or English.

'''Assignments can be submitted only once!'''

== Useful links ==
=== Machine learning ===
* [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]
* On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]

=== Python ===
* [http://python.org Official website]
* Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].
* A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]
* Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]
* Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]
* A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]
* [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]

=== Python installation and configuration ===
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]

Data analysis (Software Engineering)

2016-04-28T07:15:11Z

Sbartunov: /* Seminars */

'''Scores and deadlines: [https://drive.google.com/open?id=1TQ97B8rqC7sUxTnCMKXoskgRPXO8rAyWoBWBezY58h4 here]'''

'''Class email:''' cshse.ml@gmail.com

'''Anonymous feedback form:''' [http://goo.gl/forms/CT3h4QaMeB here]
 

== Course description ==
In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.

A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.

The knowledge of linear algebra, real analysis and probability theory is required.

'''The class consists of:'''
# Lectures and seminars
# Practical and theoretical homework assignments
# A machine learning competition (more information will be available later)
# Midterm theoretical colloquium
# Final exam

==Kaggle competition==

[https://kaggle.com/join/hse_fcs Participate]

== Events outside the course ==

[https://it.mail.ru/announcements/36/?utm_campaign=newsletter&utm_medium=email&utm_source=newsletter_2742016df Universal recomendation system of mail.ru]

[https://www.youtube.com/channel/UCeq6ZIlvC9SVsfhfKnSvM9w Description of solutions to different competitions on Kaggle]

== Syllabus ==

# Introduction to machine learning.
# K-nearest neighbours classification and regression. Extensions. Optimization techniques.
# Decision tree methods.
# Bayesian decision theory. Model evaluation:
# Linear classification methods. Adding regularization to linear methods.
# Regression.
# Kernel generalization of standard methods.
# Neural networks.
# Ensemble methods: bagging, boosting, etc.
# Feature selection.
# Feature extraction
# EM algorithm. Density estimation using mixtures.
# Clustering
# Collaborative filtering
# Ranking

== Lecture materials ==

'''Lecture 1. Introduction to data science and machine learning. '''

[https://yadi.sk/i/RajIebEkmqgzw Download]

Additional materials: [https://yadi.sk/i/x2lrKdbVmr2bf The Field Guide to Data Science], [http://www.machinelearning.ru/wiki/images/f/fc/Voron-ML-Intro-slides.pdf Лекция К.В.Воронцова]

'''Lecture 2. K nearest neighbours method. '''

[https://yadi.sk/i/Od8HM9h-nUWob Download]

Additional materials: [http://www.machinelearning.ru/wiki/images/c/c3/Voron-ML-Metric-slides.pdf Лекция К.В.Воронцова], [http://arxiv.org/pdf/1306.6709v4.pdf Metric learning survey]

'''Lecture 3. Decision trees. '''

[https://yadi.sk/i/-vPl2vaBqXrt5 Download]

Additional materials: ''Webb, Copsey "Statistical Pattern Recognition", chapter 7.2.''

'''Lecture 4a. Model evaluation. '''

Binary quality measures. ROC curve, AUC.

[https://yadi.sk/i/7V7U_1QtnfYZQ Download]

Additional materials: ''Webb, Copsey "Statistical Pattern Recognition", chapter 9.''

'''Lecture 4b. Bayes minimum cost classification. '''

Case of general losses, common within-class losses and 0,1 losses. Gaussian classifier.

[https://yadi.sk/i/6jIvLiYMosuz5 Download]

'''Lecture 5. Linear classifiers. '''

Discriminant function. Invariance to monotonous transformations for them. Definition for multi-class and binary class cases.

[https://yadi.sk/i/0IQ6P3LDoqpRk Download]

Additional materials: [http://www.machinelearning.ru/wiki/images/5/53/Voron-ML-Lin-SG.pdf Лекции К.В.Воронцова по линейным методам классификации]

'''Lecture 6. Support vector machines. '''

Linear separable and linearly non-separable case. Equivalent definition with loss function. Support vectors and non-informative vectors.

[https://yadi.sk/i/baP7gbWXoqpTE Download]

'''Lecture 7. Kernel trick. '''

Application of kernel trick to SVM. Gaussian, polynomial kernels.

[https://yadi.sk/i/3W6A9FmZoqpU9 Download]

'''Lecture 8. Regression. '''

Linear regression and extensions: weighted regression, robust regression, different loss-functions, regression with non-linear features, locally-constant (Nadaraya-Watson) regression.

[https://yadi.sk/i/HSp51pmepjQBq Download]

'''Lecture 9. Boosting. '''

Forward stagewise additive modelling. AdaBoost. Gradient boosting.

[https://yadi.sk/i/3yTKLDcCpjLhG Download]

Additional materials:

[http://statweb.stanford.edu/~tibs/ElemStatLearn/ Friedman, Hastie, Tibshirani "The Elements of Statistical Learning"] - section 10: Boosting and additive trees.,

[http://www.recognition.mccme.ru/pub/RecognitionLab.html/slbook.pdf Мерков "Введение в методы статистического обучения"] - секция 4: Линейные комбинации распознавателей.

'''Lecture 10. Ensemble methods. '''

Motivation. Bias-variance tradeoff. Bagging, RandomForest, ExtraRandomTrees. Stacking.

[https://yadi.sk/i/8E-wZxIpq9Sgf Download]

'''Lectures 11, 12. Summary. '''

'''Lecture 13. Feature selection. '''

[https://yadi.sk/i/2ZLC3J6dr3iAc Download]

'''Lecture 14. Dimensionality reduction. '''

[https://yadi.sk/i/77doZfV5r9bZa Download]

'''Lecture 15. Working with text. '''

[https://yadi.sk/i/YqdRr-0erEXba Download]

'''Lecture 16. Neural networks. '''

[https://yadi.sk/i/9yMM7mkrrEXbc Download]

== Seminars ==

'''Seminar 1. Introduction to Data Analysis in Python '''

[https://drive.google.com/open?id=0B7TWwiIrcJstdkJyam9rNHpEcDg Practical task 1], [https://drive.google.com/open?id=0B7TWwiIrcJstQldxcThZRnF3ZVk data]

Additional materials: [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]

'''Seminar 2. kNN '''

[https://drive.google.com/open?id=0B7TWwiIrcJstbGRxREhGeDBNd3M Theoretical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstNXVXYTcydUMzUUk Practical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstTXUyYUstMmJNckk data]

Additional materials: [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Visualization tutorial]

'''Seminar 3. Decision trees '''

[https://drive.google.com/file/d/0B7TWwiIrcJstbmFmMmE5bWh2Y28/view?usp=sharing Theoretical task 3]

'''Seminar 4. Linear classifiers '''

[https://drive.google.com/file/d/0B7TWwiIrcJstc1J4SnRWTnlxZlE/view?usp=sharing Theoretical task 4], [https://drive.google.com/file/d/0B7TWwiIrcJstckZCN1pYcEo2NW8/view?usp=sharing Practical task 4], [https://drive.google.com/file/d/0B7TWwiIrcJstM3VSQTVrYWhqYk0/view?usp=sharing first dataset], [https://drive.google.com/file/d/0B7TWwiIrcJstN0VOUV9PcDc1ZlE/view?usp=sharing diabetes dataset]

UPD: At all parts of practical task 4 you should use GD and SGD functions that you program at the fisrt part!

''Deadline for this practical task has been changed for some groups! Check it in the table!''

'''Seminar 5. Model evaluation '''

[https://drive.google.com/file/d/0B7TWwiIrcJstdTFST0Z4UkRoaEk/view?usp=sharing Theoretical task 5]

'''Seminar 6. Bayesian decision rule '''

[https://drive.google.com/file/d/0B7TWwiIrcJstWF9zcllDU01ZY2M/view?usp=sharing Theoretical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstSHRKcFlVcy1xd3M/view?usp=sharing Practical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstVlhBdGZYMm94SHc/view?usp=sharing data]

Practical task 6 was completed: the last part was described in more details + there are two small corrections in the first part (they are in bold font). Read it carefully!

'''Deadline for this practical task has been changed for all groups! Check it in the table!'''

'''Seminar 7. SVM and kernel trick '''

[https://drive.google.com/file/d/0B7TWwiIrcJstUGhEX2QxV1gycDA/view?usp=sharing Theoretical task 7]

Additional materials: [http://www.ccas.ru/voron/download/SVM.pdf Лекция К.В. Воронцова по SVM]

'''Seminar 8. Regression '''

[https://drive.google.com/file/d/0B7TWwiIrcJstNkE0dVJscGFSOEE/view?usp=sharing Theoretical task 8]

'''Seminar 9. Boosting '''

[https://drive.google.com/file/d/0B7TWwiIrcJstVkx2Z0tGbi1yNFE/view?usp=sharing Practical task 9],
[https://drive.google.com/file/d/0B7TWwiIrcJstelRydjBUcUlleUk/view?usp=sharing data]

'''Seminar 10. Ensemble methods '''

[https://drive.google.com/file/d/0B7TWwiIrcJstR28zVlN3OUZJTEU/view?usp=sharing Theoretical task 10]

''Problem 2: a small typo was corrected in the loss function formula.''

'''Seminar 11. Summary'''

'''Seminar 12. How to solve practical problems'''

[https://inclass.kaggle.com/c/cmc-msu-machine-learning-spring-2015-2016-dota-competition Dota Competition from the seminar], [https://drive.google.com/file/d/0B7TWwiIrcJstVnF0RVkzc1c1TVE/view?usp=sharing ipython notebook]

'''Seminar 13. Feature selection'''

[https://drive.google.com/file/d/0B7TWwiIrcJstTUU4OGFnQzBPa3c/view?usp=sharing Theoretical task 13], [https://drive.google.com/file/d/0B7TWwiIrcJstM3JkWnhtQ2YzZms/view?usp=sharing Practical task 13]

''Practical task is completed.''

'''Seminar 14. Feature extraction'''

You can read about computing PCA through SVD at the end of [https://drive.google.com/file/d/0B7TWwiIrcJstWFFSOUI5aTRBM00/view?usp=sharing this paper].

'''Seminar 15. Neural networks'''

[https://drive.google.com/file/d/0B0s4HdnpuPdxbk4yeXZyVi10dVE/view?usp=sharing Practical task 15].

== Evaluation criteria ==
The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.

Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:

* '''score''' ≥ 35% => 4,
* '''score''' ≥ 45% => 5,
* ...
* '''score''' ≥ 95% => 10,

where '''score''' is calculated using the following rule:

'''score''' = 0.6 * Shomework + 0.2 * Sexam1 + 0.2 * Sexam2 + 0.2 * Scompetition

* Shomework – proportion of correctly solved homework,
* Sexam1 – proportion of successfully answered theoretical questions during exam after module 3,
* Sexam2 – proportion of successfully answered theoretical questions during exam after module 4,
* Scompetition – score for the competition in machine learning (it's also from 0 to 1).

Participation in machine learning competition is optional and can give students extra points.

== Plagiarism ==
In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.

== Deadlines ==

All the deadlines can be found in the second tab [https://drive.google.com/open?id=1TQ97B8rqC7sUxTnCMKXoskgRPXO8rAyWoBWBezY58h4 here].

We have two deadlines for each assignments: normal and late. An assignment sent prior to normal deadline is scored with no penalty. The maximum score is penalized by 50% for assignments sent in between of the normal and the late deadline. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes.

Standard period for working on a homework assignment is 2 and 4 weeks (normal and late deadlines correspondingly) for practical assignments and 1 and 2 weeks for theoretical ones. The first practical assignment is an exception.

'''Deadline time:''' 23:59 of the day before seminar (Sunday for students attending Monday seminars and Wednesday for students that have seminars on Thursday).

== Structure of emails and homework submissions ==
All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.
The following subjects must be used:
* For ''questions'' (general, regarding assignments, etc): "Question - Surname Name - Group(subgroup)"
* For ''homework submissions'': "Practice/Theory {Lab number} - Surname Name - Group(subgroup)"

''Example'': Practice 1 - Ivanov Ivan - 131(1)

If you want to address a particular teacher, mention his name in the subject.

''Example'': Question - Ivanov Ivan - 131(1) - Ekaterina

Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).

Practical assignments must be implemented in ipython notebook format, theoretical ones in pdf. Practical assignments must use '''Python 2.7'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.

Assignments can be performed in either Russian or English.

'''Assignments can be submitted only once!'''

== Useful links ==
=== Machine learning ===
* [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]
* On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]

=== Python ===
* [http://python.org Official website]
* Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].
* A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]
* Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]
* Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]
* A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]
* [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]

=== Python installation and configuration ===
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]

Data analysis (Software Engineering)

2016-04-14T14:00:16Z

Sbartunov:

'''Scores and deadlines: [https://drive.google.com/open?id=1TQ97B8rqC7sUxTnCMKXoskgRPXO8rAyWoBWBezY58h4 here]'''

'''Class email:''' cshse.ml@gmail.com

'''Anonymous feedback form:''' [http://goo.gl/forms/CT3h4QaMeB here]
 

== Course description ==
In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.

A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.

The knowledge of linear algebra, real analysis and probability theory is required.

'''The class consists of:'''
# Lectures and seminars
# Practical and theoretical homework assignments
# A machine learning competition (more information will be available later)
# Midterm theoretical colloquium
# Final exam

==Colloquium==
Colloquium will be held on March 29. Each student will be asked 2 theoretical questions and 2 problems. Approximately 15 minutes will be given for preparation. No materials can be used during preparation. A list of all possible theoretical questions and problems is available [https://yadi.sk/i/CDD02Ka2qRNwH here].

'''Consultation before colloquium (optional) will be on Monday, March 28 in 14-00 - 15-00 in room 402.'''

== Events outside the course ==

[https://cs.hse.ru/datanight Data analysis night in HSE]

[http://www.machinelearning.ru/wiki/?title=Avito-2016&media_source=0b0be5a6 Data analysis challenge: detect type of car by its image].

[https://cs.hse.ru/big-data/tcs-lab/tcs2016/ Conference on theoretical informatics in HSE, April 6-8.]

[http://math.ucsd.edu/~sbuss/SPB_Workshops/AlgCPTC_1.html Workshop on Algorithms in Communication Complexity, Property Testing and Combinatorics, April 9-13.]

== Syllabus ==

# Introduction to machine learning.
# K-nearest neighbours classification and regression. Extensions. Optimization techniques.
# Decision tree methods.
# Bayesian decision theory. Model evaluation:
# Linear classification methods. Adding regularization to linear methods.
# Regression.
# Kernel generalization of standard methods.
# Neural networks.
# Ensemble methods: bagging, boosting, etc.
# Feature selection.
# Feature extraction
# EM algorithm. Density estimation using mixtures.
# Clustering
# Collaborative filtering
# Ranking

== Lecture materials ==

'''Lecture 1. Introduction to data science and machine learning. '''

[https://yadi.sk/i/RajIebEkmqgzw Download]

Additional materials: [https://yadi.sk/i/x2lrKdbVmr2bf The Field Guide to Data Science], [http://www.machinelearning.ru/wiki/images/f/fc/Voron-ML-Intro-slides.pdf Лекция К.В.Воронцова]

'''Lecture 2. K nearest neighbours method. '''

[https://yadi.sk/i/Od8HM9h-nUWob Download]

Additional materials: [http://www.machinelearning.ru/wiki/images/c/c3/Voron-ML-Metric-slides.pdf Лекция К.В.Воронцова], [http://arxiv.org/pdf/1306.6709v4.pdf Metric learning survey]

'''Lecture 3. Decision trees. '''

[https://yadi.sk/i/-vPl2vaBqXrt5 Download]

Additional materials: ''Webb, Copsey "Statistical Pattern Recognition", chapter 7.2.''

'''Lecture 4a. Model evaluation. '''

Binary quality measures. ROC curve, AUC.

[https://yadi.sk/i/7V7U_1QtnfYZQ Download]

Additional materials: ''Webb, Copsey "Statistical Pattern Recognition", chapter 9.''

'''Lecture 4b. Bayes minimum cost classification. '''

Case of general losses, common within-class losses and 0,1 losses. Gaussian classifier.

[https://yadi.sk/i/6jIvLiYMosuz5 Download]

'''Lecture 5. Linear classifiers. '''

Discriminant function. Invariance to monotonous transformations for them. Definition for multi-class and binary class cases.

[https://yadi.sk/i/0IQ6P3LDoqpRk Download]

Additional materials: [http://www.machinelearning.ru/wiki/images/5/53/Voron-ML-Lin-SG.pdf Лекции К.В.Воронцова по линейным методам классификации]

'''Lecture 6. Support vector machines. '''

Linear separable and linearly non-separable case. Equivalent definition with loss function. Support vectors and non-informative vectors.

[https://yadi.sk/i/baP7gbWXoqpTE Download]

'''Lecture 7. Kernel trick. '''

Application of kernel trick to SVM. Gaussian, polynomial kernels.

[https://yadi.sk/i/3W6A9FmZoqpU9 Download]

'''Lecture 8. Regression. '''

Linear regression and extensions: weighted regression, robust regression, different loss-functions, regression with non-linear features, locally-constant (Nadaraya-Watson) regression.

[https://yadi.sk/i/HSp51pmepjQBq Download]

'''Lecture 9. Boosting. '''

Forward stagewise additive modelling. AdaBoost. Gradient boosting.

[https://yadi.sk/i/3yTKLDcCpjLhG Download]

Additional materials:

[http://statweb.stanford.edu/~tibs/ElemStatLearn/ Friedman, Hastie, Tibshirani "The Elements of Statistical Learning"] - section 10: Boosting and additive trees.,

[http://www.recognition.mccme.ru/pub/RecognitionLab.html/slbook.pdf Мерков "Введение в методы статистического обучения"] - секция 4: Линейные комбинации распознавателей.

'''Lecture 10. Ensemble methods. '''

Motivation. Bias-variance tradeoff. Bagging, RandomForest, ExtraRandomTrees. Stacking.

[https://yadi.sk/i/8E-wZxIpq9Sgf Download]

'''Lecture 11. Summary. '''

== Seminars ==

'''Seminar 1. Introduction to Data Analysis in Python '''

[https://drive.google.com/open?id=0B7TWwiIrcJstdkJyam9rNHpEcDg Practical task 1], [https://drive.google.com/open?id=0B7TWwiIrcJstQldxcThZRnF3ZVk data]

Additional materials: [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]

'''Seminar 2. kNN '''

[https://drive.google.com/open?id=0B7TWwiIrcJstbGRxREhGeDBNd3M Theoretical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstNXVXYTcydUMzUUk Practical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstTXUyYUstMmJNckk data]

Additional materials: [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Visualization tutorial]

'''Seminar 3. Decision trees '''

[https://drive.google.com/file/d/0B7TWwiIrcJstbmFmMmE5bWh2Y28/view?usp=sharing Theoretical task 3]

'''Seminar 4. Linear classifiers '''

[https://drive.google.com/file/d/0B7TWwiIrcJstc1J4SnRWTnlxZlE/view?usp=sharing Theoretical task 4], [https://drive.google.com/file/d/0B7TWwiIrcJstckZCN1pYcEo2NW8/view?usp=sharing Practical task 4], [https://drive.google.com/file/d/0B7TWwiIrcJstM3VSQTVrYWhqYk0/view?usp=sharing first dataset], [https://drive.google.com/file/d/0B7TWwiIrcJstN0VOUV9PcDc1ZlE/view?usp=sharing diabetes dataset]

UPD: At all parts of practical task 4 you should use GD and SGD functions that you program at the fisrt part!

''Deadline for this practical task has been changed for some groups! Check it in the table!''

'''Seminar 5. Model evaluation '''

[https://drive.google.com/file/d/0B7TWwiIrcJstdTFST0Z4UkRoaEk/view?usp=sharing Theoretical task 5]

'''Seminar 6. Bayesian decision rule '''

[https://drive.google.com/file/d/0B7TWwiIrcJstWF9zcllDU01ZY2M/view?usp=sharing Theoretical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstSHRKcFlVcy1xd3M/view?usp=sharing Practical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstVlhBdGZYMm94SHc/view?usp=sharing data]

Practical task 6 was completed: the last part was described in more details + there are two small corrections in the first part (they are in bold font). Read it carefully!

'''Deadline for this practical task has been changed for all groups! Check it in the table!'''

'''Seminar 7. SVM and kernel trick '''

[https://drive.google.com/file/d/0B7TWwiIrcJstUGhEX2QxV1gycDA/view?usp=sharing Theoretical task 7]

Additional materials: [http://www.ccas.ru/voron/download/SVM.pdf Лекция К.В. Воронцова по SVM]

'''Seminar 8. Regression '''

[https://drive.google.com/file/d/0B7TWwiIrcJstNkE0dVJscGFSOEE/view?usp=sharing Theoretical task 8]

'''Seminar 9. Boosting '''

[https://drive.google.com/file/d/0B7TWwiIrcJstVkx2Z0tGbi1yNFE/view?usp=sharing Practical task 9],
[https://drive.google.com/file/d/0B7TWwiIrcJstelRydjBUcUlleUk/view?usp=sharing data]

'''Seminar 10. Ensemble methods '''

[https://drive.google.com/file/d/0B7TWwiIrcJstR28zVlN3OUZJTEU/view?usp=sharing Theoretical task 10]

''Problem 2: a small typo was corrected in the loss function formula.''

'''Seminar 11. Summary'''

'''Seminar 12. How to solve practical problems'''

[https://inclass.kaggle.com/c/cmc-msu-machine-learning-spring-2015-2016-dota-competition Dota Competition from the seminar], [https://drive.google.com/file/d/0B7TWwiIrcJstVnF0RVkzc1c1TVE/view?usp=sharing ipython notebook]

'''Seminar 13. Feature selection'''

[https://drive.google.com/file/d/0B0s4HdnpuPdxbXUtZUdDWF9YYmM/view?usp=sharing Theoretical task 13]

== Evaluation criteria ==
The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.

Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:

* '''score''' ≥ 35% => 4,
* '''score''' ≥ 45% => 5,
* ...
* '''score''' ≥ 95% => 10,

where '''score''' is calculated using the following rule:

'''score''' = 0.6 * Shomework + 0.2 * Sexam1 + 0.2 * Sexam2 + 0.2 * Scompetition

* Shomework – proportion of correctly solved homework,
* Sexam1 – proportion of successfully answered theoretical questions during exam after module 3,
* Sexam2 – proportion of successfully answered theoretical questions during exam after module 4,
* Scompetition – score for the competition in machine learning (it's also from 0 to 1).

Participation in machine learning competition is optional and can give students extra points.

== Plagiarism ==
In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.

== Deadlines ==

All the deadlines can be found in the second tab [https://drive.google.com/open?id=1TQ97B8rqC7sUxTnCMKXoskgRPXO8rAyWoBWBezY58h4 here].

We have two deadlines for each assignments: normal and late. An assignment sent prior to normal deadline is scored with no penalty. The maximum score is penalized by 50% for assignments sent in between of the normal and the late deadline. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes.

Standard period for working on a homework assignment is 2 and 4 weeks (normal and late deadlines correspondingly) for practical assignments and 1 and 2 weeks for theoretical ones. The first practical assignment is an exception.

'''Deadline time:''' 23:59 of the day before seminar (Sunday for students attending Monday seminars and Wednesday for students that have seminars on Thursday).

== Structure of emails and homework submissions ==
All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.
The following subjects must be used:
* For ''questions'' (general, regarding assignments, etc): "Question - Surname Name - Group(subgroup)"
* For ''homework submissions'': "Practice/Theory {Lab number} - Surname Name - Group(subgroup)"

''Example'': Practice 1 - Ivanov Ivan - 131(1)

If you want to address a particular teacher, mention his name in the subject.

''Example'': Question - Ivanov Ivan - 131(1) - Ekaterina

Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).

Practical assignments must be implemented in ipython notebook format, theoretical ones in pdf. Practical assignments must use '''Python 2.7'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.

Assignments can be performed in either Russian or English.

'''Assignments can be submitted only once!'''

== Useful links ==
=== Machine learning ===
* [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]
* On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]

=== Python ===
* [http://python.org Official website]
* Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].
* A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]
* Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]
* Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]
* A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]
* [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]

=== Python installation and configuration ===
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]

Data analysis (Software Engineering)

2016-02-16T11:21:26Z

Sbartunov:

'''Scores and deadlines: [https://drive.google.com/open?id=1TQ97B8rqC7sUxTnCMKXoskgRPXO8rAyWoBWBezY58h4 здесь]'''

'''Class email:''' cshse.ml@gmail.com

'''Anonymous feedback form:''' [http://goo.gl/forms/CT3h4QaMeB написать комментарий или пожелание по курсу]
 

== Class description ==
In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.

A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.

The knowledge of linear algebra, real analysis and probability theory is required.

'''The class consists of:'''
# Lectures and seminars
# Practical and theoretical homework assignments
# A machine learning competition (more information will be available later)
# Theoretical colloquiums: midterm and final.
# Final written exam

== Class program ==

# Introduction to machine learning.
# K-nearest neighbours classification and regression. Extensions. Optimization techniques.
# Decision tree methods.
# Bayesian decision theory. Model evaluation:
# Linear classification methods. Adding regularization to linear methods.
# Regression.
# Kernel generalization of standard methods.
# Neural networks.
# Ensemble methods: bagging, boosting, etc.
# Feature selection.
# Feature extraction
# EM algorithm. Density estimation using mixtures.
# Clustering
# Collaborative filtering
# Ranking

== Lecture materials ==

'''Lecture 1. Introduction to data science and machine learning. '''

[https://yadi.sk/i/RajIebEkmqgzw Download]

Additional materials: [https://yadi.sk/i/x2lrKdbVmr2bf The Field Guide to Data Science], [http://www.machinelearning.ru/wiki/images/f/fc/Voron-ML-Intro-slides.pdf Лекция К.В.Воронцова]

'''Lecture 2. K nearest neighbours method. '''

[https://yadi.sk/i/Od8HM9h-nUWob Download]

Additional materials: [http://www.machinelearning.ru/wiki/images/c/c3/Voron-ML-Metric-slides.pdf Лекция К.В.Воронцова], [http://arxiv.org/pdf/1306.6709v4.pdf Metric learning survey]

'''Lecture 3. Decision trees. '''

[https://yadi.sk/i/oGUi8YKFnfYFf Download]

Additional materials: ''Webb, Copsey "Statistical Pattern Recognition", chapter 7.2.''

'''Lecture 4a. Model evaluation. '''

[https://yadi.sk/i/7V7U_1QtnfYZQ Download]

Additional materials: ''Webb, Copsey "Statistical Pattern Recognition", chapter 9.''

'''Lecture 4b. Bayes minimum cost classification. '''

[https://yadi.sk/i/6jIvLiYMosuz5 Download]

'''Lecture 5. Linear classifiers. '''

[https://yadi.sk/i/0IQ6P3LDoqpRk Download]

Additional materials: [http://www.machinelearning.ru/wiki/images/5/53/Voron-ML-Lin-SG.pdf Лекции К.В.Воронцова по линейным методам классификации]

'''Lecture 6. Support vector machines. '''

[https://yadi.sk/i/baP7gbWXoqpTE Download]

'''Lecture 7. Kernel trick. '''

[https://yadi.sk/i/3W6A9FmZoqpU9 Download]

== Seminars ==

'''Seminar 1. Introduction to Data Analysis in Python '''

[https://drive.google.com/open?id=0B7TWwiIrcJstdkJyam9rNHpEcDg Practical task 1], [https://drive.google.com/open?id=0B7TWwiIrcJstQldxcThZRnF3ZVk data]

Additional materials: [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]

'''Seminar 2. kNN '''

[https://drive.google.com/open?id=0B7TWwiIrcJstbGRxREhGeDBNd3M Theoretical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstNXVXYTcydUMzUUk Practical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstTXUyYUstMmJNckk data]

Additional materials: [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Visualization tutorial]

'''Seminar 3. Decision trees '''

[https://drive.google.com/file/d/0B7TWwiIrcJstbmFmMmE5bWh2Y28/view?usp=sharing Theoretical task 3]

'''Seminar 4. Linear classifiers '''

[https://drive.google.com/file/d/0B7TWwiIrcJstc1J4SnRWTnlxZlE/view?usp=sharing Theoretical task 4], [https://drive.google.com/file/d/0B7TWwiIrcJstckZCN1pYcEo2NW8/view?usp=sharing Practical task 4], [https://drive.google.com/file/d/0B7TWwiIrcJstM3VSQTVrYWhqYk0/view?usp=sharing first dataset], [https://drive.google.com/file/d/0B7TWwiIrcJstN0VOUV9PcDc1ZlE/view?usp=sharing diabetes dataset]

''Deadline for this practical task has been changed for some groups! Check it in the table!''

'''Seminar 5. Model evaluation '''

[https://drive.google.com/file/d/0B7TWwiIrcJstdTFST0Z4UkRoaEk/view?usp=sharing Theoretical task 5]

== Отчётность по курсу и критерии оценки ==
'''Оценка за курс.''' Итоговая оценка за курс складывается из оценок за домашние задания, оценок за коллоквиумы и оценки за экзамен. Оценка за соревновательное задание будет являться бонусной. Точные критерии оценивания будут выложены позднее.

Стандартно практические здания оцениваются по 5-бальной шкале, а теоретические — по 3-бальной.

'''Плагиат.''' Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.
Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.

== Deadlines ==

All the deadlines can be found in the second tab [https://drive.google.com/open?id=1TQ97B8rqC7sUxTnCMKXoskgRPXO8rAyWoBWBezY58h4 here].

We have two deadlines for each assignments: normal and late. An assignment sent prior to normal deadline is scored with no penalty. The maximum score is penalized by 50% for assignments sent in between of the normal and the late deadline. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes.

Standard period for working on a homework assignment is 2 and 4 weeks (normal and late deadlines correspondingly) for practical assignments and 1 and 2 weeks for theoretical ones. The first practical assignment is an exception.

'''Deadline time:''' 23:59 of the day before seminar (Sunday for students attending Monday seminars and Wednesday for students that have seminars on Thursday).

== Structure of emails and homework submissions ==
All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.
The following subjects must be used:
* For ''questions'' (general, regarding assignments, etc): "Question - Surname Name - Group(subgroup)"
* For ''homework submissions'': "Practice/Theory {Lab number} - Surname Name - Group(subgroup)"

''Example'': Practice 1 - Ivanov Ivan - 131(1)

If you want to address a particular teacher, mention his name in the subject.

''Example'': Question - Ivanov Ivan - 131(1) - Ekaterina

Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).

Practical assignments must be implemented in ipython notebook format, theoretical ones in pdf. Practical assignments must use '''Python 2.7'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.

Assignments can be performed in either Russian or English.

'''Assignments can be submitted only once!'''

== Useful links ==
=== Machine learning ===
* [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]
* On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]

=== Python ===
* [http://python.org Official website]
* Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].
* A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]
* Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]
* Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]
* A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]
* [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]

=== Python installation and configuration ===
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]

НИС Машинное обучение и приложения/Практическое задание

2016-01-07T13:20:43Z

Sbartunov:

В рамках данного практического задания студентам необходимо решить задачу распознавания цифр от 0 до 9 на изображениях. Задание проводится на базе платформы Kaggle, отправка решений осуществляется на [https://inclass.kaggle.com/c/cs-hse-ml-15 странице задания].

Задание решается в командах до 4 человек. Списки команд с указанием ФИО, групп, почтовых адресов и логинов на Kaggle должны быть '''отправлены преподавателям''' до 23:59 21 декабря 2015 г. Данные списки считаются финальными и не могут быть изменены.

'''Срок выполнения задания''': до 23:59 16 января 2016 г ('''срок продлен'''). После данного срока решения приниматься не будут.

'''Срок обнародования тестовой выборки''': 7 января 2016 г. После обнародования тестовой выборки каждой команде необходимо отправить решение с классификацией объектов тестовой выборки. Также после данного срока разрешается использовать неразмеченные данные из валидационной выборки для классификации тестовой выборки.

==== Форма оценивания ====
Формой оценивания является получение зачета. Необходимые условия получения зачета:
# Предоставить решение задачи классификации, достигающее большего значения точности на '''тестовой''' выборке чем доступное решение (baseline). Точность вычисляется как отношение правильно классифицированных объектов к общему числу объектов.
# Обосновать решение и подготовить отчет о выполненном задании (обязательную структуру отчета см. ниже).

=== Отчет о выполненном задании ===
Отчет должен содержать подробное обоснование всех принятых решений при подготовке решения, в частности, содержимого отчета должно быть достаточно для воспроизведения всех результатов.

Обязательные пункты, которые должны в явном виде присутствовать в отчете:
# '''Предобработка данных'''. Выполнялась ли в каком-либо виде предобработка входных данных (как обучающих, так и входящих в валидационную и тестовую выборки)? Были ли разработаны вами новые признаки?
# '''Конечное решение'''. Полное описание конечной процедуры обучения и классификации, достаточное для воспроизведения результатов, а также обоснование всех принятых решений при выборе алгоритмов обучения, конкретных значений гиперпараметров и т.д.
# '''Борьба с переобучением'''. Какие меры были предприняты вами для того, чтобы избежать переобучения?
# '''Использование неразмеченных данных''' (данный пункт отчета является необязательным, если неразмеченные данные не использовались). Как вы использовали доступ к неразмеченной валидационной выборке после открытия полной тестовой выборки?

=== Состав решения ===
Помимо отправленного решения на сайте Kaggle необходимо также предоставить программную реализацию итогового решения. Реализация должна состоять из единого файла с исходным кодом на языке python (либо единого файла ipython notebook), в результаты выполнения которого в директории с обучающей, валидационной и тестовой выборками создается файл “answer.csv” с ответами для тестовой выборки. В случае, если форматом является ipython notebook, ответы для тестовой выборки должны быть получены путем последовательного выполнения ячеек. Разрешается использовать любые общедоступные библиотеки.

Программная реализация решения и отчет должны быть отправлены на почту преподавателя до истечения срока выполнения задания.

Для обучения разрешается использовать только обучающую выборку, а также валидационную после получения доступа к тестовой выборке. Запрещается использовать какие-либо другие данные.

=== Данные и baseline ===

Обучающая и валидационная выборки доступны на [https://inclass.kaggle.com/c/cs-hse-ml-15/data странице задания].
Baseline-решение доступно [https://gist.github.com/sbos/0b693abe8259c5ba442d здесь].

НИС Машинное обучение и приложения/Практическое задание

2016-01-07T12:52:27Z

Sbartunov:

В рамках данного практического задания студентам необходимо решить задачу распознавания цифр от 0 до 9 на изображениях. Задание проводится на базе платформы Kaggle, отправка решений осуществляется на [https://inclass.kaggle.com/c/cs-hse-ml-15 странице задания].

Задание решается в командах до 4 человек. Списки команд с указанием ФИО, групп, почтовых адресов и логинов на Kaggle должны быть '''отправлены преподавателям''' до 23:59 21 декабря 2015 г. Данные списки считаются финальными и не могут быть изменены.

'''Срок выполнения задания''': до 23:59 16 января 2016 г ('''срок продлен'''). После данного срока решения приниматься не будут.

'''Срок обнародования тестовой выборки''': 7 января 2016 г. После обнародования тестовой выборки каждой команде необходимо отправить решение с классификацией объектов тестовой выборки. Также после данного срока разрешается использовать неразмеченные данные из валидационной выборки для классификации тестовой выборки.

==== Форма оценивания ====
Формой оценивания является получение зачета. Необходимые условия получения зачета:
# Предоставить решение задачи классификации, достигающее большего значения точности на '''тестовой''' выборке чем доступное решение (baseline). Точность вычисляется как отношение правильно классифицированных объектов к общему числу объектов.
# Обосновать решение и подготовить отчет о выполненном задании (обязательную структуру отчета см. ниже).

=== Отчет о выполненном задании ===
Отчет должен содержать подробное обоснование всех принятых решений при подготовке решения, в частности, содержимого отчета должно быть достаточно для воспроизводства всех результатов.

Обязательные пункты, которые должны в явном виде присутствовать в отчете:
# '''Предобработка данных'''. Выполнялась ли в каком-либо виде предобработка входных данных (как обучающих, так и входящих в валидационную и тестовую выборки)? Были ли разработаны вами новые признаки?
# '''Конечное решение'''. Полное описание конечной процедуры обучения и классификации, достаточное для воспроизведения результатов, а также обоснование всех принятых решений при выборе алгоритмов обучения, конкретных значений гиперпараметров и т.д.
# '''Борьба с переобучением'''. Какие меры были предприняты вами для того, чтобы избежать переобучения?
# '''Использование неразмеченных данных''' (данный пункт отчета является необязательным, если неразмеченные данные не использовались). Как вы использовали доступ к неразмеченной валидационной выборке после открытия полной тестовой выборки?

=== Состав решения ===
Помимо отправленного решения на сайте Kaggle необходимо также предоставить программную реализацию итогового решения. Реализация должна состоять из единого файла с исходным кодом на языке python (либо единого файла ipython notebook), в результаты выполнения которого в директории с обучающей, валидационной и тестовой выборками создается файл “answer.csv” с ответами для тестовой выборки. В случае, если форматом является ipython notebook, ответы для тестовой выборки должны быть получены путем последовательного выполнения ячеек. Разрешается использовать любые общедоступные библиотеки.

Программная реализация решения и отчет должны быть отправлены на почту преподавателя до истечения срока выполнения задания.

Для обучения разрешается использовать только обучающую выборку, а также валидационную после получения доступа к тестовой выборке. Запрещается использовать какие-либо другие данные.

=== Данные и baseline ===

Обучающая и валидационная выборки доступны на [https://inclass.kaggle.com/c/cs-hse-ml-15/data странице задания].
Baseline-решение доступно [https://gist.github.com/sbos/0b693abe8259c5ba442d здесь].

НИС Машинное обучение и приложения/Практическое задание

2015-12-15T11:37:21Z

Sbartunov:

В рамках данного практического задания студентам необходимо решить задачу распознавания цифр от 0 до 9 на изображениях. Задание проводится на базе платформы Kaggle, отправка решений осуществляется на [https://inclass.kaggle.com/c/cs-hse-ml-15 странице задания].

Задание решается в командах до 4 человек. Списки команд с указанием ФИО, групп, почтовых адресов и логинов на Kaggle должны быть '''отправлены преподавателям''' до 23:59 21 декабря 2015 г. Данные списки считаются финальными и не могут быть изменены.

'''Срок выполнения задания''': до 23:59 12 января 2016 г. После данного срока решения приниматься не будут.

'''Срок обнародования тестовой выборки''': до 23:59 3 января 2016 г. После обнародования тестовой выборки каждой команде необходимо отправить решение с классификацией объектов тестовой выборки. Также после данного срока разрешается использовать неразмеченные данные из валидационной выборки для классификации тестовой выборки.

==== Форма оценивания ====
Формой оценивания является получение зачета. Необходимые условия получения зачета:
# Предоставить решение задачи классификации, достигающее большего значения точности на '''тестовой''' выборке чем доступное решение (baseline). Точность вычисляется как отношение правильно классифицированных объектов к общему числу объектов.
# Обосновать решение и подготовить отчет о выполненном задании (обязательную структуру отчета см. ниже).

=== Отчет о выполненном задании ===
Отчет должен содержать подробное обоснование всех принятых решений при подготовке решения, в частности, содержимого отчета должно быть достаточно для воспроизводства всех результатов.

Обязательные пункты, которые должны в явном виде присутствовать в отчете:
# '''Предобработка данных'''. Выполнялась ли в каком-либо виде предобработка входных данных (как обучающих, так и входящих в валидационную и тестовую выборки)? Были ли разработаны вами новые признаки?
# '''Конечное решение'''. Полное описание конечной процедуры обучения и классификации, достаточное для воспроизведения результатов, а также обоснование всех принятых решений при выборе алгоритмов обучения, конкретных значений гиперпараметров и т.д.
# '''Борьба с переобучением'''. Какие меры были предприняты вами для того, чтобы избежать переобучения?
# '''Использование неразмеченных данных''' (данный пункт отчета является необязательным, если неразмеченные данные не использовались). Как вы использовали доступ к неразмеченной валидационной выборке после открытия полной тестовой выборки?

=== Состав решения ===
Помимо отправленного решения на сайте Kaggle необходимо также предоставить программную реализацию итогового решения. Реализация должна состоять из единого файла с исходным кодом на языке python (либо единого файла ipython notebook), в результаты выполнения которого в директории с обучающей, валидационной и тестовой выборками создается файл “answer.csv” с ответами для тестовой выборки. В случае, если форматом является ipython notebook, ответы для тестовой выборки должны быть получены путем последовательного выполнения ячеек. Разрешается использовать любые общедоступные библиотеки.

Программная реализация решения и отчет должны быть отправлены на почту преподавателя до истечения срока выполнения задания.

Для обучения разрешается использовать только обучающую выборку, а также валидационную после получения доступа к тестовой выборке. Запрещается использовать какие-либо другие данные.

=== Данные и baseline ===

Обучающая и валидационная выборки доступны на [https://inclass.kaggle.com/c/cs-hse-ml-15/data странице задания].
Baseline-решение доступно [https://gist.github.com/sbos/0b693abe8259c5ba442d здесь].

НИС Машинное обучение и приложения/Практическое задание

2015-12-15T04:06:32Z

Sbartunov:

В рамках данного практического задания студентам необходимо решить задачу распознавания цифр от 0 до 9 на изображениях. Задание проводится на базе платформы Kaggle, отправка решений осуществляется на [https://inclass.kaggle.com/c/cs-hse-ml-15 странице задания].

Задание решается в командах до 4 человек. Списки команд с указанием ФИО, групп, почтовых адресов и логинов на Kaggle должны быть '''отправлены преподавателям''' до 23:59 14 декабря 2015 г. Данные списки считаются финальными и не могут быть изменены.

'''Срок выполнения задания''': до 23:59 12 января 2016 г. После данного срока решения приниматься не будут.

'''Срок обнародования тестовой выборки''': до 23:59 3 января 2016 г. После обнародования тестовой выборки каждой команде необходимо отправить решение с классификацией объектов тестовой выборки. Также после данного срока разрешается использовать неразмеченные данные из валидационной выборки для классификации тестовой выборки.

==== Форма оценивания ====
Формой оценивания является получение зачета. Необходимые условия получения зачета:
# Предоставить решение задачи классификации, достигающее большего значения точности на '''тестовой''' выборке чем доступное решение (baseline). Точность вычисляется как отношение правильно классифицированных объектов к общему числу объектов.
# Обосновать решение и подготовить отчет о выполненном задании (обязательную структуру отчета см. ниже).

=== Отчет о выполненном задании ===
Отчет должен содержать подробное обоснование всех принятых решений при подготовке решения, в частности, содержимого отчета должно быть достаточно для воспроизводства всех результатов.

Обязательные пункты, которые должны в явном виде присутствовать в отчете:
# '''Предобработка данных'''. Выполнялась ли в каком-либо виде предобработка входных данных (как обучающих, так и входящих в валидационную и тестовую выборки)? Были ли разработаны вами новые признаки?
# '''Конечное решение'''. Полное описание конечной процедуры обучения и классификации, достаточное для воспроизведения результатов, а также обоснование всех принятых решений при выборе алгоритмов обучения, конкретных значений гиперпараметров и т.д.
# '''Борьба с переобучением'''. Какие меры были предприняты вами для того, чтобы избежать переобучения?
# '''Использование неразмеченных данных''' (данный пункт отчета является необязательным, если неразмеченные данные не использовались). Как вы использовали доступ к неразмеченной валидационной выборке после открытия полной тестовой выборки?

=== Состав решения ===
Помимо отправленного решения на сайте Kaggle необходимо также предоставить программную реализацию итогового решения. Реализация должна состоять из единого файла с исходным кодом на языке python (либо единого файла ipython notebook), в результаты выполнения которого в директории с обучающей, валидационной и тестовой выборками создается файл “answer.csv” с ответами для тестовой выборки. В случае, если форматом является ipython notebook, ответы для тестовой выборки должны быть получены путем последовательного выполнения ячеек. Разрешается использовать любые общедоступные библиотеки.

Программная реализация решения и отчет должны быть отправлены на почту преподавателя до истечения срока выполнения задания.

Для обучения разрешается использовать только обучающую выборку, а также валидационную после получения доступа к тестовой выборке. Запрещается использовать какие-либо другие данные.

=== Данные и baseline ===

Обучающая и валидационная выборки доступны на [https://inclass.kaggle.com/c/cs-hse-ml-15/data странице задания].
Baseline-решение доступно [https://gist.github.com/sbos/0b693abe8259c5ba442d здесь].

НИС Машинное обучение и приложения/Практическое задание

2015-12-15T04:04:05Z

Sbartunov: /* Данные и baseline */

В рамках данного практического задания студентам необходимо решить задачу распознавания цифр от 0 до 9 на изображениях. Задание проводится на базе платформы Kaggle, отправка решений осуществляется на [https://inclass.kaggle.com/c/cs-hse-ml-15 странице задания].

Задание решается в командах до 4 человек. Списки команд с указанием ФИО, групп, почтовых адресов и логинов на Kaggle должны быть '''отправлены преподавателям''' до 23:59 14 декабря 2015 г. Данные списки считаются финальными и не могут быть изменены.

'''Срок выполнения задания''': до 23:59 12 января 2016 г. После данного срока решения приниматься не будут.

'''Срок обнародования тестовой выборки''': до 23:59 3 января 2016 г. После обнародования тестовой выборки каждой команде необходимо отправить решение с классификацией объектов тестовой выборки. Также после данного срока разрешается использовать неразмеченные данные из валидационной выборки для классификации тестовой выборки.

==== Форма оценивания ====
Формой оценивания является получение зачета. Необходимые условия получения зачета:
# Предоставить решение задачи классификации, достигающее большего значения точности на '''тестовой''' выборке чем доступное решение (baseline).
# Обосновать решение и подготовить отчет о выполненном задании (обязательную структуру отчета см. ниже).

=== Отчет о выполненном задании ===
Отчет должен содержать подробное обоснование всех принятых решений при подготовке решения, в частности, содержимого отчета должно быть достаточно для воспроизводства всех результатов.

Обязательные пункты, которые должны в явном виде присутствовать в отчете:
# '''Предобработка данных'''. Выполнялась ли в каком-либо виде предобработка входных данных (как обучающих, так и входящих в валидационную и тестовую выборки)? Были ли разработаны вами новые признаки?
# '''Конечное решение'''. Полное описание конечной процедуры обучения и классификации, достаточное для воспроизведения результатов, а также обоснование всех принятых решений при выборе алгоритмов обучения, конкретных значений гиперпараметров и т.д.
# '''Борьба с переобучением'''. Какие меры были предприняты вами для того, чтобы избежать переобучения?
# '''Использование неразмеченных данных''' (данный пункт отчета является необязательным, если неразмеченные данные не использовались). Как вы использовали доступ к неразмеченной валидационной выборке после открытия полной тестовой выборки?

=== Состав решения ===
Помимо отправленного решения на сайте Kaggle необходимо также предоставить программную реализацию итогового решения. Реализация должна состоять из единого файла с исходным кодом на языке python (либо единого файла ipython notebook), в результаты выполнения которого в директории с обучающей, валидационной и тестовой выборками создается файл “answer.csv” с ответами для тестовой выборки. В случае, если форматом является ipython notebook, ответы для тестовой выборки должны быть получены путем последовательного выполнения ячеек. Разрешается использовать любые общедоступные библиотеки.

Программная реализация решения и отчет должны быть отправлены на почту преподавателя до истечения срока выполнения задания.

Для обучения разрешается использовать только обучающую выборку, а также валидационную после получения доступа к тестовой выборке. Запрещается использовать какие-либо другие данные.

=== Данные и baseline ===

Обучающая и валидационная выборки доступны на [https://inclass.kaggle.com/c/cs-hse-ml-15/data странице задания].
Baseline-решение доступно [https://gist.github.com/sbos/0b693abe8259c5ba442d здесь].

НИС Машинное обучение и приложения

2015-12-15T03:50:26Z

Sbartunov:

'''Таблица с расписание семинаров [https://docs.google.com/spreadsheets/d/1DdPqVTAT5waRSPiRZD0Zp_FEIQpBgw0NarcrspQfZes/edit?usp=sharing здесь]'''

'''Контакты: '''
* [http://www.hse.ru/staff/dvetrov Ветров Дмитрий Петрович] DVetrov@hse.ru
* [http://www.hse.ru/org/persons/131072080 Лобачева Екатерина Максимовна] elobacheva@hse.ru
* [http://www.hse.ru/staff/sergey-bartunov Бартунов Сергей Олегович] sbos.net@gmail.com

Просьба к теме письма добавлять тег '''[НИС ФКН]'''.

'''Новости: '''
* Докладчик по теме "Как не нужно работать с данными" из первой группы заболел, поэтому семинар 7 октября был коротким. Доклад по этой теме для студентов первой группы будет проходить вместе с второй группой 14 октября.
== Краткое описание ==

В ходе курса студенты изучат теоретические основы машинного обучения и получат практические навыки применения методов поиска скрытых закономерностей в данных. Также студенты получат опыт самостоятельного разбора научной литературы, который пригодится им при написании курсовых, дипломных и научных работ.

== Темы семинаров ==

'''Семинар 1. Машинное обучение и история его развития.'''

'''Семинар 2. Научный метод.'''

''Основные моменты:''
Что такое научный метод? Его основные особенности. Эмпирическое и теоретический научный метод. Принципы верификации и фальсификации. Бритва Оккама. Научный и ненаучный метод. Псевдонаука.

''Полезные ссылки:'' [http://elementy.ru/lib/430627 1], [http://megamozg.ru/post/7658/ 2], [http://lebed.com/2014/art6391.htm 3] + глава 22 из Гарри Поттера и методов рацмышления

'''Семинар 3.1. Как сделать качественную презентацию.'''

''Полезные ссылки:'' [http://habrahabr.ru/company/microsoft/blog/142693/ 1], [http://www4.stat.ncsu.edu/~reich/st810A/oral.pdf 2], [http://www.nextscientist.com/improve-presentation-skills-of-phd-students/ 3], [http://www.skillsyouneed.com/presentation-skills.html 4], [https://www.asp.org/education/EffectivePresentations.pdf 5], [http://www.youtube.com/watch?v=Hp7Id3Yb9XQ 6], [http://psych.colorado.edu/~dbarth/PDFs/5100/Talk%20Tips.pdf 7]

'''Семинар 3.2. Как не нужно работать с данными.'''

''Полезные ссылки:'' [http://habrahabr.ru/post/217545/ 1], [http://www.statease.com/news/news0612.pdf 2], [http://blog.asmartbear.com/data-interpretation-mistakes.html 3], [https://sunlightfoundation.com/blog/2013/02/19/avoiding-data-mistakes/ 4], [http://www.ma.utexas.edu/users/mks/statmistakes/StatisticsMistakes.html 5], [http://sites.stat.psu.edu/~lsimon/stat250/fa99/slides/mistakes/mistakes.PPT 6], [http://gking.harvard.edu/files/mist.pdf 7]

'''Семинар 4. Линейная регрессия.'''

''В докладе следует осветить следующие основные моменты:''

# Общую постановка задачи обучения с учителем, а также регрессии как ее частный случай
# Привести несколько примеров из жизни, где подобная задача возникает
# Рассмотреть линейную модель регресии, а также привести пример любой нелинейной модели
# Записать задачу оптимизации, которая возникает при использовании квадратичной функции потерь.
# Вывести разложение квадратичной ошибки в виде суммы bias и variance, обсудить значение этого разложения
# Показать хотя бы два метода для решения данной задачи - метод градиентного спуска и псевдо-решение СЛАУ, обсудить, какие преимущества и недостатки есть у каждого метода.
# Рассмотреть пример переобучения и использования L2-регуляризации как метода борьбы с ним. Связь L2-регуляризации с нормальным псевдо-решением.
# Обсудить другие функции потерь, например, L1.

''Полезные ссылки:'' [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 1], [http://statweb.stanford.edu/~tibs/ElemStatLearn/ 2] (главы 2 и 3), [http://research.microsoft.com/en-us/um/people/cmbishop/PRML/ 3], [https://www.cs.ubc.ca/~murphyk/MLbook/ 4], [http://scott.fortmann-roe.com/docs/BiasVariance.html 5], [http://web.engr.oregonstate.edu/~xfern/classes/cs534/notes/Linear-Regression-3-11.pdf 6], [http://eniac.cs.qc.cuny.edu/andrew/gcml/lecture5.pdf 7], [http://cs229.stanford.edu/notes/cs229-notes1.pdf 8]

'''Семинар 5. Метод опорных векторов. Линейно-разделимый случай'''

''План доклада:''

# Ликбез. Теорема Куна-Такера и как ее использовать для задач оптимизации с ограничениями.
# Общая постановка задачи обучения с учителем, а также классификации, как ее частный случай.
# Привести несколько примеров из жизни, где подобная задача возникает
# Рассмотреть линейный классификатор, как выглядит его решающее правило, его геометрический смысл (разделяющая гиперплоскость).
# Неоднозначность выбора разделяющей гиперплоскости при использовании бинарной функции потерь.
# Принцип максимального зазора (или иначе заступа, англ. max margin), как некоторый разумный способ выбора разделяющей гиперплоскости. Показать его устойчивость при добавлении небольшого шума к обучающей выборке.
# Вывод величины зазора через вектор нормали гиперплоскости
# Задача оптимизации, возникающая при обучении метода опорных векторов в случае линейно-разделимой выборки.
# Решение выпуклой задачи условной оптимизации с использованием метода множителей Лагранжа.
# Двойственная функция, возникающая при обучении SVM.
# Решение данной задачи оптимизации, его зависимость от опорных векторов. Смысл множителей лагранжа, условий дополняющей нежесткости.

''Полезные ссылки'': [http://statweb.stanford.edu/~tibs/ElemStatLearn/]
[http://www.machinelearning.ru/wiki/images/2/25/SMAIS11_SVM.pdf]
[http://www.machinelearning.ru/wiki/images/8/8b/MOTP11_3.pdf]
[http://research.microsoft.com/pubs/67119/svmtutorial.pdf]
[https://www.economics.utoronto.ca/osborne/MathTutorial/KTCF.HTM]
[https://web.stanford.edu/class/ee364a/lectures/duality.pdf]
[https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf]
[http://www.youtube.com/watch?v=FJVmflArCXc]

'''Семинар 6. Метод опорных векторов. Линейно-неразделимый случай, ядровой переход'''

''План доклада:''

# Краткое напоминание основных результатов предыдущего семинара:
## постановка задачи бинарной классификации
## вид решающего правила и его геометрический смысл
## принцип максимизации зазора
## прямая и двойственная задачи оптимизации
# Ослабление предположения о линейной разделимости выборки
## изменение задачи оптимизаци
## решение двойственной задачи оптимизации
## вывод функции потерь SVM (hinge loss)
# Ядровой переход
## формальная замена скалярного произведения на функцию ядра
## свойства скалярного произведения
## примеры ядер с объяснением их свойств и параметров
## способы определения новых ядер

См. список материалов к предыдущему семинару.

'''Практическое задание'''. Классификация изображений. [[НИС Машинное обучение и приложения/Практическое задание|Описание]].

НИС Машинное обучение и приложения

2015-12-15T03:50:01Z

Sbartunov:

'''Таблица с расписание семинаров [https://docs.google.com/spreadsheets/d/1DdPqVTAT5waRSPiRZD0Zp_FEIQpBgw0NarcrspQfZes/edit?usp=sharing здесь]'''

'''Контакты: '''
* [http://www.hse.ru/staff/dvetrov Ветров Дмитрий Петрович] DVetrov@hse.ru
* [http://www.hse.ru/org/persons/131072080 Лобачева Екатерина Максимовна] elobacheva@hse.ru
* [http://www.hse.ru/staff/sergey-bartunov Бартунов Сергей Олегович] sbos.net@gmail.com

Просьба к теме письма добавлять тег '''[НИС ФКН]'''.

'''Новости: '''
* Докладчик по теме "Как не нужно работать с данными" из первой группы заболел, поэтому семинар 7 октября был коротким. Доклад по этой теме для студентов первой группы будет проходить вместе с второй группой 14 октября.
== Краткое описание ==

В ходе курса студенты изучат теоретические основы машинного обучения и получат практические навыки применения методов поиска скрытых закономерностей в данных. Также студенты получат опыт самостоятельного разбора научной литературы, который пригодится им при написании курсовых, дипломных и научных работ.

== Темы семинаров ==

'''Семинар 1. Машинное обучение и история его развития.'''

'''Семинар 2. Научный метод.'''

''Основные моменты:''
Что такое научный метод? Его основные особенности. Эмпирическое и теоретический научный метод. Принципы верификации и фальсификации. Бритва Оккама. Научный и ненаучный метод. Псевдонаука.

''Полезные ссылки:'' [http://elementy.ru/lib/430627 1], [http://megamozg.ru/post/7658/ 2], [http://lebed.com/2014/art6391.htm 3] + глава 22 из Гарри Поттера и методов рацмышления

'''Семинар 3.1. Как сделать качественную презентацию.'''

''Полезные ссылки:'' [http://habrahabr.ru/company/microsoft/blog/142693/ 1], [http://www4.stat.ncsu.edu/~reich/st810A/oral.pdf 2], [http://www.nextscientist.com/improve-presentation-skills-of-phd-students/ 3], [http://www.skillsyouneed.com/presentation-skills.html 4], [https://www.asp.org/education/EffectivePresentations.pdf 5], [http://www.youtube.com/watch?v=Hp7Id3Yb9XQ 6], [http://psych.colorado.edu/~dbarth/PDFs/5100/Talk%20Tips.pdf 7]

'''Семинар 3.2. Как не нужно работать с данными.'''

''Полезные ссылки:'' [http://habrahabr.ru/post/217545/ 1], [http://www.statease.com/news/news0612.pdf 2], [http://blog.asmartbear.com/data-interpretation-mistakes.html 3], [https://sunlightfoundation.com/blog/2013/02/19/avoiding-data-mistakes/ 4], [http://www.ma.utexas.edu/users/mks/statmistakes/StatisticsMistakes.html 5], [http://sites.stat.psu.edu/~lsimon/stat250/fa99/slides/mistakes/mistakes.PPT 6], [http://gking.harvard.edu/files/mist.pdf 7]

'''Семинар 4. Линейная регрессия.'''

''В докладе следует осветить следующие основные моменты:''

# Общую постановка задачи обучения с учителем, а также регрессии как ее частный случай
# Привести несколько примеров из жизни, где подобная задача возникает
# Рассмотреть линейную модель регресии, а также привести пример любой нелинейной модели
# Записать задачу оптимизации, которая возникает при использовании квадратичной функции потерь.
# Вывести разложение квадратичной ошибки в виде суммы bias и variance, обсудить значение этого разложения
# Показать хотя бы два метода для решения данной задачи - метод градиентного спуска и псевдо-решение СЛАУ, обсудить, какие преимущества и недостатки есть у каждого метода.
# Рассмотреть пример переобучения и использования L2-регуляризации как метода борьбы с ним. Связь L2-регуляризации с нормальным псевдо-решением.
# Обсудить другие функции потерь, например, L1.

''Полезные ссылки:'' [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 1], [http://statweb.stanford.edu/~tibs/ElemStatLearn/ 2] (главы 2 и 3), [http://research.microsoft.com/en-us/um/people/cmbishop/PRML/ 3], [https://www.cs.ubc.ca/~murphyk/MLbook/ 4], [http://scott.fortmann-roe.com/docs/BiasVariance.html 5], [http://web.engr.oregonstate.edu/~xfern/classes/cs534/notes/Linear-Regression-3-11.pdf 6], [http://eniac.cs.qc.cuny.edu/andrew/gcml/lecture5.pdf 7], [http://cs229.stanford.edu/notes/cs229-notes1.pdf 8]

'''Семинар 5. Метод опорных векторов. Линейно-разделимый случай'''

'''Практическое задание'''. Классификация изображений. [[НИС Машинное обучение и приложения/Практическое задание|Описание]].

''План доклада:''

# Ликбез. Теорема Куна-Такера и как ее использовать для задач оптимизации с ограничениями.
# Общая постановка задачи обучения с учителем, а также классификации, как ее частный случай.
# Привести несколько примеров из жизни, где подобная задача возникает
# Рассмотреть линейный классификатор, как выглядит его решающее правило, его геометрический смысл (разделяющая гиперплоскость).
# Неоднозначность выбора разделяющей гиперплоскости при использовании бинарной функции потерь.
# Принцип максимального зазора (или иначе заступа, англ. max margin), как некоторый разумный способ выбора разделяющей гиперплоскости. Показать его устойчивость при добавлении небольшого шума к обучающей выборке.
# Вывод величины зазора через вектор нормали гиперплоскости
# Задача оптимизации, возникающая при обучении метода опорных векторов в случае линейно-разделимой выборки.
# Решение выпуклой задачи условной оптимизации с использованием метода множителей Лагранжа.
# Двойственная функция, возникающая при обучении SVM.
# Решение данной задачи оптимизации, его зависимость от опорных векторов. Смысл множителей лагранжа, условий дополняющей нежесткости.

''Полезные ссылки'': [http://statweb.stanford.edu/~tibs/ElemStatLearn/]
[http://www.machinelearning.ru/wiki/images/2/25/SMAIS11_SVM.pdf]
[http://www.machinelearning.ru/wiki/images/8/8b/MOTP11_3.pdf]
[http://research.microsoft.com/pubs/67119/svmtutorial.pdf]
[https://www.economics.utoronto.ca/osborne/MathTutorial/KTCF.HTM]
[https://web.stanford.edu/class/ee364a/lectures/duality.pdf]
[https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf]
[http://www.youtube.com/watch?v=FJVmflArCXc]

'''Семинар 6. Метод опорных векторов. Линейно-неразделимый случай, ядровой переход'''

''План доклада:''

# Краткое напоминание основных результатов предыдущего семинара:
## постановка задачи бинарной классификации
## вид решающего правила и его геометрический смысл
## принцип максимизации зазора
## прямая и двойственная задачи оптимизации
# Ослабление предположения о линейной разделимости выборки
## изменение задачи оптимизаци
## решение двойственной задачи оптимизации
## вывод функции потерь SVM (hinge loss)
# Ядровой переход
## формальная замена скалярного произведения на функцию ядра
## свойства скалярного произведения
## примеры ядер с объяснением их свойств и параметров
## способы определения новых ядер

См. список материалов к предыдущему семинару.

НИС Машинное обучение и приложения/Практическое задание

2015-12-14T18:05:38Z

Sbartunov: Новая страница: «В рамках данного практического задания студентам необходимо решить задачу распознаван…»

В рамках данного практического задания студентам необходимо решить задачу распознавания цифр от 0 до 9 на изображениях. Задание проводится на базе платформы Kaggle, отправка решений осуществляется на [https://inclass.kaggle.com/c/cs-hse-ml-15 странице задания].

Задание решается в командах до 4 человек. Списки команд с указанием ФИО, групп, почтовых адресов и логинов на Kaggle должны быть '''отправлены преподавателям''' до 23:59 14 декабря 2015 г. Данные списки считаются финальными и не могут быть изменены.

'''Срок выполнения задания''': до 23:59 12 января 2016 г. После данного срока решения приниматься не будут.

'''Срок обнародования тестовой выборки''': до 23:59 3 января 2016 г. После обнародования тестовой выборки каждой команде необходимо отправить решение с классификацией объектов тестовой выборки. Также после данного срока разрешается использовать неразмеченные данные из валидационной выборки для классификации тестовой выборки.

==== Форма оценивания ====
Формой оценивания является получение зачета. Необходимые условия получения зачета:
# Предоставить решение задачи классификации, достигающее большего значения точности на '''тестовой''' выборке чем доступное решение (baseline).
# Обосновать решение и подготовить отчет о выполненном задании (обязательную структуру отчета см. ниже).

=== Отчет о выполненном задании ===
Отчет должен содержать подробное обоснование всех принятых решений при подготовке решения, в частности, содержимого отчета должно быть достаточно для воспроизводства всех результатов.

Обязательные пункты, которые должны в явном виде присутствовать в отчете:
# '''Предобработка данных'''. Выполнялась ли в каком-либо виде предобработка входных данных (как обучающих, так и входящих в валидационную и тестовую выборки)? Были ли разработаны вами новые признаки?
# '''Конечное решение'''. Полное описание конечной процедуры обучения и классификации, достаточное для воспроизведения результатов, а также обоснование всех принятых решений при выборе алгоритмов обучения, конкретных значений гиперпараметров и т.д.
# '''Борьба с переобучением'''. Какие меры были предприняты вами для того, чтобы избежать переобучения?
# '''Использование неразмеченных данных''' (данный пункт отчета является необязательным, если неразмеченные данные не использовались). Как вы использовали доступ к неразмеченной валидационной выборке после открытия полной тестовой выборки?

=== Состав решения ===
Помимо отправленного решения на сайте Kaggle необходимо также предоставить программную реализацию итогового решения. Реализация должна состоять из единого файла с исходным кодом на языке python (либо единого файла ipython notebook), в результаты выполнения которого в директории с обучающей, валидационной и тестовой выборками создается файл “answer.csv” с ответами для тестовой выборки. В случае, если форматом является ipython notebook, ответы для тестовой выборки должны быть получены путем последовательного выполнения ячеек. Разрешается использовать любые общедоступные библиотеки.

Программная реализация решения и отчет должны быть отправлены на почту преподавателя до истечения срока выполнения задания.

Для обучения разрешается использовать только обучающую выборку, а также валидационную после получения доступа к тестовой выборке. Запрещается использовать какие-либо другие данные.

=== Данные и baseline ===

Обучающая и валидационная выборки доступны на [https://inclass.kaggle.com/c/cs-hse-ml-15/data странице задания].
Там же доступно и baseline-решение.

НИС Машинное обучение и приложения

2015-11-02T12:23:49Z

Sbartunov:

НИС Машинное обучение и приложения

2015-11-02T12:21:30Z

Sbartunov: